点击上方 IT牧场 ,选择 置顶或者星标
技术干货每日送达!
一、数据库瓶颈
1、IO瓶颈
2、CPU瓶颈
二、分库分表
1、水平分库
-
每个库的结构都一样; -
每个库的数据都不一样,没有交集; -
所有库的并集是全量数据;
2、水平分表
-
每个表的结构都一样; -
每个表的数据都不一样,没有交集; -
所有表的并集是全量数据;
3、垂直分库
-
每个库的结构都不一样; -
每个库的数据也不一样,没有交集; -
所有库的并集是全量数据;
4、垂直分表
-
每个表的结构都不一样; -
每个表的数据也不一样,一般来说,每个表的字段至少有一列交集,一般是主键,用于关联数据; -
所有表的并集是全量数据;
三、分库分表工具
-
sharding-sphere:jar,前身是sharding-jdbc; -
TDDL:jar,Taobao Distribute Data Layer; -
Mycat:中间件。
注:工具的利弊,请自行调研,官网和社区优先。
四、分库分表步骤
1、非partition key的查询问题
注:写入时,基因法生成user_id,如图。关于xbit基因,例如要分8张表,23=8,故x取3,即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。 根据user_name查询时,先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用snowflake算法。
注:按照order_id或buyer_id查询时路由到db_o_buyer库中,按照seller_id查询时路由到db_o_seller库中。感觉有点本末倒置!有其他好的办法吗?改变技术栈呢?
2、非partition key跨库跨表分页查询问题
注:用NoSQL法解决(ES等)。
3、扩容问题
注:扩容是成倍的。
-
第一步:(同步双写)修改应用配置和代码,加上双写,部署; -
第二步:(同步双写)将老库中的老数据复制到新库中; -
第三步:(同步双写)以老库为准校对新库中的老数据; -
第四步:(同步双写)修改应用配置和代码,去掉双写,部署;
注:双写是通用方案。
六、分库分表总结
-
分库分表,首先得知道瓶颈在哪里,然后才能合理地拆分(分库还是分表?水平还是垂直?分几个?)。且不可为了分库分表而拆分。 -
选key很重要,既要考虑到拆分均匀,也要考虑到非partition key的查询。 -
只要能满足需求,拆分规则越简单越好。
七、分库分表示例
示例GitHub地址:https://github.com/littlecharacter4s/study-sharding
本文由“壹伴编辑器”提供技术支持
干货分享
最近将个人学习笔记整理成册,使用PDF分享。关注我,回复如下代码,即可获得百度盘地址,无套路领取!
•001:《Java并发与高并发解决方案》学习笔记;•002:《深入JVM内核——原理、诊断与优化》学习笔记;•003:《Java面试宝典》•004:《Docker开源书》•005:《Kubernetes开源书》•006:《DDD速成(领域驱动设计速成)》•007:全部•008:加技术群讨论
近期热文
•LinkedBlockingQueue vs ConcurrentLinkedQueue•解读Java 8 中为并发而生的 ConcurrentHashMap•Redis性能监控指标汇总•最全的DevOps工具集合,再也不怕选型了!•微服务架构下,解决数据库跨库查询的一些思路•聊聊大厂面试官必问的 MySQL 锁机制
关注我
喜欢就点个"在看"呗^_^
本文分享自微信公众号 - IT牧场(itmuch_com)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。
来源:oschina
链接:https://my.oschina.net/u/2248449/blog/4481069