V4.0 水平拆分对于V2.0、V3.0方案遇到瓶颈时,都可以通过水平拆分来解决,水平拆分和垂直拆分有较大区别,垂直拆分拆完的结果,在一个实例上是拥有全量数据的,而水平拆分之后,任何实例都只有全量的1/n的数据,以下图UserInfo的拆分为例,将UserInfo拆分为3个Cluster,每个Cluster持有总量的1/3数据,3个Cluster数据的总和等于一份完整数据。 注:这里不再叫单个实例 而是叫一个Cluster 代表包含主从的一个小MySQL集群。 那么,这样架构中的数据该如何路由? 1. Range拆分 2. List拆分 List拆分与Range拆分思路一样,都是通过给不同的sharding key来路由到不同的Cluster,但是具体方法有些不同。List主要用来做sharding key不是连续区间的序列落到一个Cluster的情况,如以下场景: 假定有20个音像店,分布在4个有经销权的地区,如下表所示:
3. Hash拆分 通过对sharding key 进行哈希的方式来进行拆分,常用的哈希方法有除余,字符串哈希等等,除余如按UserId%n的值来决定数据读写哪个Cluster,其他哈希类算法这里就不细展开讲了。 4. 数据拆分后引入的问题 数据水平拆分引入的问题主要是只能通过sharding key来读写操作,例如以UserId为sharding key的切分例子,读UserId的详细信息时,一定需要先知道UserId,这样才能推算出在哪个Cluster进而进行查询,假设我需要按UserName进行检索用户信息,需要引入额外的反向索引机制(类似HBase二级索引),如在Redis上存储username->userid的映射,以UserName查询的例子变成了先通过查询username->userid,再通过userid查询相应的信息。 实际上这个做法很简单,但是我们不要忽略了一个额外的隐患,那就是数据不一致的隐患。存储在Redis里的username->userid和存储在MySQL里的userid->username必须需要是一致的,这个保证起来很多时候是一件比较困难的事情,举个例子来说,对于修改用户名这个场景,你需要同时修改Redis和Mysql。这两个东西是很难做到事务保证的,如MySQL操作成功,但是Redis却操作失败了(分布式事务引入成本较高)。对于互联网应用来说,可用性是最重要的,一致性是其次,所以能够容忍小量的不一致出现. 毕竟从占比来说,这类的不一致的比例可以微乎其微到忽略不计。(一般写更新也会采用mq来保证直到成功为止才停止重试操作) 在这样的架构下,我们来看看数据存储的瓶颈是什么? 在这个拆分理念上搭建起来的架构,理论上不存在瓶颈(sharding key能确保各Cluster流量相对均衡的前提下)。不过确有一件恶心的事情,那就是Cluster扩容的时候重做数据的成本,如我原来有3个Cluster,但是现在我的数据增长比较快,我需要6个Cluster,那么我们需要将每个Cluster 一拆为二,一般的做法是:
有没有类似飞机空中加油的感觉,这是一个脏活,累活,容易出问题的活,为了避免这个,我们一般在最开始的时候,设计足够多的sharding cluster来防止可能的Cluster扩容这件事情。 V5.0 云计算 腾飞(云数据库)云计算现在是各大IT公司内部作为节约成本的一个突破口,对于数据存储的MySQL来说,如何让其成为一个SaaS是关键点。在MS的官方文档中,把构建一个足够成熟的SaaS(MS简单列出了SAAS应用的4级成熟度)所面临的3个主要挑战:可配置性,可扩展性,多用户存储结构设计称为"three headed monster"。可配置性和多用户存储结构设计在MySQL SaaS这个问题中并不是特别难办的一件事情,所以这里重点说一下可扩展性。 MySQL作为一个SaaS服务,在架构演变为V4.0之后,依赖良好的sharding key设计,已经不再存在扩展性问题,只是他在面对扩容缩容时,有一些脏活需要干,而作为SaaS,并不能避免扩容缩容这个问题,所以只要能把V4.0的脏活变成:第1,扩容缩容对前端APP透明(业务代码不需要任何改动);第2,扩容缩容全自动化且对在线服务无影响。如果实现了这两点,那么他就拿到了作为SaaS的门票。 |