云原生数据库vitess
vitess
简介
Vitess是用于部署，扩展和管理MySQL实例的大型群集的数据库解决方案。 它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。 它结合了NoSQL数据库的可伸缩性，并扩展了许多重要的MySQL功能。Vitess可以帮助您解决以下问题:
允许您对MySQL数据库通过分片来进行扩展规模，同时将应用变更降至最低。
从裸机迁移到私有云或公共云。
部署和管理大量MySQL实例。
Vitess包括使用本机查询协议的兼容JDBC和Go数据库驱动程序。另外，它实现了MySQL Server协议，该协议实际上与任何其他语言兼容。
自2011年以来，Vitess一直在为所有YouTube数据库流量的服务，如今已被许多企业采用以满足其生产需求。
功能
性能
连接池 - 将前端应用程序查询复用到MySQL连接池中以优化性能。
查询去重 – 对于在运行中查询仍在执行时收到的所有相同请求，请对运行中查询的结果重新使用。
事务管理器 – 限制并发事务的数量并管理截止日期以优化整体吞吐量。
保护
查询重写和清理 – 添加限制并避免不确定的更新。
查询黑名单 – 自定义规则以防止可能有问题的查询进入您的数据库。
查询killer – 终止花费很长时间才能返回数据的查询。
表级ACL – 根据所连接的用户为表指定访问控制列表（ACL）。
监控方式
性能分析工具使您可以监视，诊断和分析数据库性能。
拓扑管理工具
master管理工具(句柄修复)
基于Web的管理GUI
设计用于多个数据中心/区域
分片
几乎无缝的动态重新分片
垂直和水平分片支持
多种分片方案，可以插入自定义方案
与其他存储选择的对比
Vitess vs. Vanilla MySQL
Vanilla MySQL
Vitess
每个 MySql 连接都有一个内存开销，其范围介于 256KB 到几乎 3MB 之间，这取决于你所使用的 MySql 版本。随着你的用户群的增长，你需要增加内存以支撑增加的那些连接，但增加内存无助于提高查询速度。此外，在获取这些连接的时候还有大量的 CPU 开销。 Vitess 基于 BSON 的协议创建非常轻量级仅约 32KB 的连接。Vitess 的连接池功能使用了 Go 语言的卓越的并发支持将这些轻量级的连接映射到一个小型的 MySql 连接池。因此,Vitess 可以很容易地同时处理数千个连接
每个 MySql 连接都有一个内存开销，其范围介于 256KB 到几乎 3MB 之间，这取决于你所使用的 MySql 版本。随着你的用户群的增长，你需要增加内存以支撑增加的那些连接，但增加内存无助于提高查询速度。此外，在获取这些连接的时候还有大量的 CPU 开销。 Vitess 基于 BSON 的协议创建非常轻量级仅约 32KB 的连接。Vitess 的连接池功能使用了 Go 语言的卓越的并发支持将这些轻量级的连接映射到一个小型的 MySql 连接池。因此,Vitess 可以很容易地同时处理数千个连接。
低效的写查询，比如一些没有设置一个限制的写查询，将会对所有用户的数据库性能产生负面影响
Vitess 所用的 SQL 解析器使用了一组可配置的规则对可能会降低数据库性能的查询进行重写。
分片是一个对你的数据进行分区来提高可扩展性和性能的过程。MySql 不支持分片，要求你自己去编写分片代码并在你自己的应用程序中嵌入分片逻辑
Vitess 使用基于范围的分片。它同时支持水平和垂直的重新切分，完成大多数数据的转换只需要仅仅几秒钟的只读的停机时间。Vitess 甚至可以适应你现有的一个自定义分片方案。
MySql 集群为保证可用性采用的是主从复制，有一个主数据库和几个副本数据库。主库宕机，某台从库将成为新的主库。这个要求你去管理数据库的生命周期并将当前的系统状态传达给你自己的应用程序。
Vitess 帮你管理数据库的生命周期。它支持并自动应对各种场景，包括主库故障转移以及数据备份。
MySQL群集可以具有针对不同工作负载的自定义数据库配置，例如用于写入的主数据库，用于Web客户端的快速只读副本，用于批处理作业的较慢只读副本等等。如果数据库具有水平分片，则将对每个分片重复进行设置，并且应用程序需要内置逻辑才能知道如何查找正确的数据库
Vitess 使用一个数据存储一致性的拓扑支持，比如 etcd 或者 ZooKeeper。这也就意味着集群视图始终是最新的而且对于不同的客户端也能始终保证其一致性。Vitess 还提供了一个高效地将查询路由给最适合的 MySql 实例的代理。
Vitess vs. NoSQL
NoSQL
Vitess
NoSQL 数据库不定义数据库表之间的关系，并且仅支持 SQL 语言的一个子集
Vitess 并不是一个简单的键值存储。它支持复杂的查询语句，比如 where 子句、联接查询、聚集功能等等。
NoSQL 数据库不支持事务 | Vitess 支持单个分片内的事务。Vitess 团队也正在探索使用两阶段提交支持跨分片事务的可行性。
NoSQL 解决方案拥有定制的 API，这将导致定制的架构、应用程序和工具 | Vitess 仅添加了极小的变化到 MySql，一个绝大多数的人们都已经习惯使用的数据库。
相比 MySql 来讲，NoSQL 提供的数据库索引支持是有限的 | Vitess 允许你使用 MySql 的所有索引功能来优化查询性能。
架构
Vitess平台由许多服务器进程，命令行实用程序和基于Web的实用程序组成，并由一致的元数据存储提供支持。
根据您应用程序的当前状态，您可以通过许多不同的流程来实现完整的Vitess实现。例如，如果要从头开始构建服务，那么使用Vitess的第一步就是定义数据库拓扑。但是，如果需要扩展现有数据库，则可能首先要部署连接代理。
Vitess工具和服务器旨在为您提供帮助，无论您是从完整的数据库团队开始，还是从小规模扩展到随时间扩展。对于较小的实现，vttablet功能（例如连接池和查询重写）可帮助您从现有硬件中获得更多收益。然后，Vitess的自动化工具为大型实施提供了更多好处。
概念
cell
是一组服务器和网络基础设施中并置的区域，并且和其他cell故障隔离 它通常是完整的数据中心或数据中心的子集，有时称为区域或可用性区域。Vitess可以优雅地处理cell级别的故障，例如当cell被切断网络时。
Vitess实现中的每个cell都有一个本地拓扑服务，该服务托管在该cell中。 拓扑服务在其单元格中包含有关Vitess数位板的大多数信息。这使cell可以拆卸并重建为一个单元。
Vitess限制了数据和元数据的跨cell流量。虽然也可以将读取流量路由到各个单元可能有用，但Vites当前仅服务于本地cell的读取。 必要时，写入将跨cell到达该分片的主文件所在的位置。
keyspace
一个keyspace是一个逻辑数据库。如果您使用分片，则keyspace将映射到多个MySQL数据库。 如果您不使用分片，则keyspace将直接映射到MySQL数据库名称。无论哪种情况，从应用程序的角度来看，keyspace都显示为单个数据库。
从keyspace读取数据就像从MySQL数据库读取数据一样。但是，根据读取操作的一致性要求，Vitess可能会从主数据库或副本中获取数据。 通过将每个查询路由到适当的数据库，Vitess允许将代码构造为好像从单个MySQL数据库读取一样。
Keyspace Graph
通过keyspace graph，Vitess可以决定对于给定的keyspace，cell,tablet使用哪一组分片。
Keyspace id
密钥空间ID是用确定给定行在哪个分片上
Replication Graph
Replication Graph标识了主数据库及其各自的副本之间的关系。 在主服务器故障转移期间，Replication Graph使Vitess可以将所有现有副本指向新指定的主数据库，以便复制可以继续
shard
keyspace是Keyspace的拆分，一个分片通常包含一个MySQL主服务器和许多MySQL从服务器。 分片中的每个MySQL实例都具有相同的数据，从节点可以为只读流量提供服务，执行长时间的数据分析或管理任务
重新分片
Vitess支持动态重新分片，其中动态群集上的分片数量可以更改。这可以将一个或多个碎片分成较小的碎片，也可以将相邻的碎片合并成较大的碎片。 在动态重新分片期间，源分片中的数据将被复制到目标分片中，以跟上复制的步伐，然后与原始分片进行比较以确保数据完整性。 然后，将实时服务基础结构转移到目标分片，并删除源分片。
Tablet
Tablet是 mysqld和vttablet的组合通常运行在同一服务器，每个Tablet都被分配一个Tablet 类型，用于指定其当前的执行角色
类型：
master - 一个Tablet 副本，目前正好是其分片的MySQL master。
replica - 一个MySQL slave，有资格晋升为master。通常，这些保留用于服务实时的，面向用户的请求（例如从网站的前端）。
rdonly - 无法升级为master的 MySQL slave 。通常，它们用于后台处理作业，例如进行备份，将数据转储到其他系统，
繁重的分析查询，MapReduce和重新分片。
backup - Tablet已在一致的快照处停止了复制，因此可以为其分片上载新的备份。完成后，它将恢复复制并返回其先前的类型。
restore -一种Tablet，没有数据启动，并且正在从最新的备份中恢复自身。完成后，它将在备份的GTID位置开始复制，并成为副本或rdonly。
drained -由Vitess后台进程保留的数位板（例如用于重新分片的rdonly数位板）。
Topology Service(也称为TOPO或锁定服务)
该拓扑服务是一组不同的服务器上运行的后端进程。这些服务器存储拓扑数据并提供分布式锁定服务。 Vites使用一个插件系统来支持各种后端来存储拓扑数据，这些后端被假定提供了分布式的，一致的键值存储。默认情况下，我们的本地示例使用ZooKeeper插件，而Kubernetes示例使用etcd。
存在拓扑服务的原因有几个：
它使tablets之间可以作为一个群集进行协调。
它使Vitess能够发现数位板，因此知道将查询路由到何处。
它存储数据库管理员提供的Vitess配置，集群中许多不同服务器都需要该配置，并且在服务器重新启动之间必须保持这种配置。
一个Vitess群集在每个tablets中都有一个全局拓扑服务和一个本地拓扑服务。由于cluster是一个重载术语，并且一个Vitess集群通过每个集群都有其自己的全局拓扑服务这一事实而与另一个集群有所区别，因此我们将每个Vitess集群称为对流层。
全球拓扑
全局拓扑服务存储不经常更改的Vites范围的数据。具体来说，它包含有关键空间和分片以及每个分片的主tablets别名的数据。
全局拓扑用于某些操作，包括重定亲和重新分片。通过设计，全局拓扑服务使用不多。
为了终止任何残存的cell，全局拓扑服务应在多个cell中具有节点，并具有足够的数量以在发生cell故障时维持仲裁。
局部拓扑
每个本地拓扑都包含与其自己的celll有关的信息。具体来说，它包含有关cell中的tablets的数据，该cell的键空间图以及该单元格的复制图。
Vitess必须可以使用本地拓扑服务来发现数位板并在数位板进出时调整路由。但是，在稳定状态下为查询提供服务的关键路径中，没有对拓扑服务进行任何调用。这意味着在拓扑暂时不可用期间仍可提供查询。
vschema
一个VSchema允许您描述数据是如何被keyspaces和shard组织。此信息用于路由查询，以及在重新分片操作期间。
VSTREAM
VStream是位于VTGate上的变更通知系统。可以将VStream视为自定义为在Vitess中使用的UpdateStream。 与更新流一样，VTTablets可以订阅VStream来接收事件。VStream可以从VStreamer中提取事件，后者又从Binlog中提取事件。 这将允许高效执行VReplication之类的过程，在此过程中，订户可以间接从binlog接收和应用事件。 用户可以将过滤规则应用于VStream，以获取有关引擎盖下给定键空间，分片和位置发生的情况的深入信息。
VTGate
VTGate是一种轻量级的代理服务器，可将流量路由到正确的VTTablet服务器，并将合并结果返回给客户端。 它说MySQL协议和Vitess gRPC协议。因此，您的应用程序可以连接到VTGate，就像它是MySQL Server一样。
在将查询路由到适当的VTTablet服务器时，VTGate会考虑分片方案，所需的延迟以及表及其底层MySQL实例的可用性。
vtctl
vtctl是用于管理Vitess群集的命令行工具。它允许人员或应用程序轻松地与Vitess实现交互。 使用vtctl，您可以标识主数据库和副本数据库，创建表，启动故障转移，执行分片（和重新分片）操作，等等。
当vtctl执行操作时，它会根据需要更新锁服务器。其他Vitess服务器会观察到这些更改并做出相应的反应。 例如，如果您使用vtctl故障转移到新的master数据库，则vtgate会看到更改并将将来的写操作定向到新的master。
vtctld
vtctld是一个HTTP服务器，使您可以浏览存储在锁服务器中的信息。这对于故障排除或获取服务器及其当前状态的高级概述很有用。
vtworker
vtworker承载长时间运行的进程。它支持插件架构并提供库，因此您可以轻松选择要使用的平板电脑。插件可用于以下类型的作业：
重新分片不同的作业会在分片拆分和联接期间检查数据完整性 垂直拆分不同作业在垂直拆分和联接期间检查数据完整性 vtworker还可让您轻松添加其他验证过程。例如，如果一个键空间中的索引表引用了另一个键空间中的数据， 则可以执行片剂内部完整性检查以验证类似外键的关系或跨表完整性检查
总结
vitess是一个基于MySQL的云原生数据库，自身屏蔽了分库分表的复杂性，使应用能够直接使用无需特殊配置，与原生MySQL高度兼容，目前已经从CNCF毕业，相信以后会有更多的用户使用vitess.
扫描关注我:
Last updated
