mycat

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 原创： 钟悦 关于作者 钟悦 - 资深DBLE用户 某宇宙行资深架构师，在大型重点项目中使用 DBLE。 常年与 MySQL 纠缠不清，经常运用技术处理大企业病的技术or非技术问题的一个挨踢从业者。 根据用户定义的范围与分片节点映射文件，直接定位目标分片。 1. 用户在 rule.xml 中配置范围定义文件路径，文件中定义的各个范围被加载到内存中，形成一个映射表 2. 在 DBLE 的运行过程中，用户访问使用这个算法的表时，WHERE 子句中的分片索引值会被提取出来，直接查映射表得到分片编号 与MyCat的类似分片算法对比 中间件 DBLE MyCat 分片算法种类 numberrange 分区算法 范围约定 区别 写具体的数值 可用K或M等数量替换付 K=1000 , M=10000 开发注意点 【分片索引】1. 整型数字（可以为负数），取值范围是长整型 【分片索引】2. 范围包含其起点和终点，例如，范围 1-100 包含 1 和 100（即 [1, 100]） 【分片索引】3. 如果范围与范围之间存在重叠（例如 1-100 和 100-200 重叠于 100），不会引起异常，会命中在范围配置文件mapFile中最先出现的那一个并按其执行 【分片索引】4. 不同范围可以映射到同一个分片上 0 - 99 = 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 原创作者： 钟悦 关于作者 钟 悦 - 资深DBLE用户 某宇宙行资深架构师，在大型重点项目中使用 DBLE。 常年与 MySQL 纠缠不清，经常运用技术处理大企业病的技术or非技术问题的一个挨踢从业者。 与 hash 算法的最终效果一样，这个算法也是先求模得到逻辑分片号，再根据逻辑分片号直接映射到物理分片的一种散列算法。 1. 用户需要在 rule.xml 中给出 patternValue 来定义逻辑分片数量 2. 在 DBLE 的启动阶段，读取用户在 rule.xml 中给出的 mapFile，得到逻辑分片到物理分片的映射表 3. 在 DBLE 的运行过程中，用户访问使用这个算法的表时，WHERE 子句中的分片索引值会被提取出来进行求模，得到逻辑分片号 4. 再根据逻辑分片号，查映射表，直接得到物理分片号 与MyCat的类似分片算法对比 中间件 DBLE MyCat 分片算法种类 patternrange 分区算法 取模范围约束 两种中间件的取模范围分片算法使用上无差别 开发注意点 【分片索引】1. 必须是整型数字或整型数字的字符串（可以为负数） 【分片索引】2. 最大物理分片配置方法是，在 mapFile 文件中，为每一个逻辑分片指定单独的物理分片 例如： 0=0 1=1 ... 【分片索引】3.

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 背景 MyCat 对于字符串类型为分片字段的数据，有三种分片模式，分别是：模值 hash（求模法），jumpstringhash（跳跃法），一致性 hash（环割法） dble 对于 hash 算法选取方面，除了继承 MyCat 的模值 hash，并没有延续使用 MyCat 的一致性 hash，而是推荐使用性能更佳、均衡性更好的 “jumpstringhash” 算法。 介绍 下面对于环割法（一致性 hash）及跳跃法（jumpstringhash）的原理、特性及优缺点进行简单的介绍。 环割法（一致性 hash） 环割法的原理如下： 初始化的时候生成分片数量X × 环割数量 N 的固定方式编号的字符串，例如 SHARD-1-NODE-1，并计算所有 X×N 个字符串的所有 hash 值。 将所有计算出来的 hash 值放到一个排序的 Map 中，并将其中的所有元素进行排序。 输入字符串的时候计算输入字符串的 hash 值，查看 hash 值介于哪两个元素之间，取小于 hash 值的那个元素对应的分片为数据的分片。 特点 缺点 随机性强 初始化耗时长，内存消耗较高，需要进行大量数据排序，分片消耗高 跳跃法（jumpstringhash） 跳跃法的原理如下： 根据公式： 将数据落在每一个节点的概率进行平均分配。

什么是数据库分片 简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库上面，以达到分散单台设备负载的效果。 数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。 1.一种是按照不同的表来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直切分 2.另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库上面，这种切分称之为数据的水平切分。 如何实现数据库分片 当数据库分片后，数据由一个数据库分散到多个数据库中。此时系统要查询时需要切换不同的数据库进行查询，那么系统如何知道要查询的数据在哪个数据库中？当添加一条记录时要向哪个数据库中插入呢？这些问题处理起来都是非常的麻烦。 这种情况下可以使用一个数据库中间件mycat来解决相关的问题。 什么是Mycat？ 简单的说，MyCAT就是：一个新颖的数据库中间件产品，支持mysql集群，提供高可用性数据分片集群。你可以像使用mysql一样使用mycat。对于开发人员来说根本感觉不到mycat的存在。 Mycat读写分离 数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置

实验环境 mycat1.6 mysql5.6 第一步:新建数据库和表 mysql5.6主1号和从1号 mysql5.6主2号和从2号 配置主从1号和2号参考链接： https://blog.csdn.net/u010772230/article/details/103642811 在主1号中创建数据库db4并新建表t_user 在主2号中创建数据库db5新建表t_user CREATE TABLE `t_user` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(256) NULL, PRIMARY KEY (`id`) ); 第二步：配置mycat的server.xml 配置mycat的逻辑数据库名和账号密码 第三步：配置mycat的schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="MyCatDB" checkSQLschema="false" sqlMaxLimit="100"> <table name="t_user" primaryKey="ID" dataNode="dn4,dn5"

首先，数据库的读写分离，能让应用对数据库的访问压力下降，较之一台数据库服务器来读写的时候。 2台数据库服务器，1台用来执行写操作，1台用来执行读操作，这样能够分散应用对数据的压力，而且能加强数据库的数据安全性。 所以，面对比较大型的数据读取应用，对其数据库做读写分离，对性能提升是很有好处的。 为什么读写分离可以提高性能？ 物理服务器增加，负荷增加 主从只负责各自的写和读，极大程度的缓解X锁和S锁争用 从库可配置myisam引擎，提升查询性能以及节约系统开销 至于你提到的“master所执行的（写）的所有语句，都会在slave被执行一遍”这个只说对一半，从库同步主库的数据和主库直接写还是有区别的，通过主库发送来的binlog恢复数据，但是，最重要区别在于主库向从库发送binlog是异步的，从库恢复数据也是异步的。 读写分离适用与读远大于写的场景，如果只有一台服务器，当select很多时，update和delete会被这些select访问中的数据堵塞，等待select结束，并发性能不高。 对于写和读比例相近的应用，应该部署双主相互复制。 主要步骤 1.mysql主从数据库设置，master用来做写操作，slave用来做读操作。 主从数据库设置，是指slave会通过mysql的主从复制功能，自动去实时去同步master上的数据变更。（单向的slave copy master） 2

Mycat原理 Mycat的原理并不复杂，复杂的是代码，如果代码也不复杂，那么早就成为一个传说了。 Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分 片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再 返回给用户。 上述图片里，Orders表被分为三个分片datanode（简称dn)，这三个分片是分布在两台MySQL Server上(DataHost)，即 datanode=database@datahost方式，因此你可以用一台到N台服务器来分片，分片规则为（sharding rule)典型的字符串枚举 分片规则，一个规则的定义是分片字段（sharding column)+分片函数(rule function)，这里的分片字段为prov而分片函数为字 符串枚举方式。 当Mycat收到一个SQL时，会先解析这个SQL，查找涉及到的表，然后看此表的定义，如果有分片规则，则获取到SQL里分片字 段的值，并匹配分片函数，得到该SQL对应的分片列表，然后将SQL发往这些分片去执行，最后收集和处理所有分片返回的结果 数据，并输出到客户端。以select * from Orders where prov=?语句为例，查到prov=wuhan，按照分片函数

1.是什么 数据库中间件，前身是阿里的cobar 2.干什么的 读写分离 数据分片（水平+垂直拆分） 多数据源整合 Mycat的配置文件 schema.xml：定义逻辑库，表、分片节点等内容 rule.xml：定义分片规则 server.xml：定义用户以及系统相关变量，如端口等. 原理 Mycat 的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了 一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库， 并将返回的结果做适当的处理，最终再返回给用户 PS：这种方式把数据库的分布式从代码中解耦出来，程序员察觉不出来后台使用Mycat还是mysql 读写分离 mysql主从复制（要配置读写分离必须配置主从复制） 原理：slave会从master读取binlog来进行数据同步 MySQL复制过程分成三步： master将改变记录到二进制日志（binary log）。这些记录过程叫做二进制日志事件，binary log events； slave将master的binary log events拷贝到它的中继日志（relay log）； slave重做中继日志中的事件，将改变应用到自己的数据库中。 MySQL复制是异步的且串行化的 复制基本原则： 每一个slave只有一个master

Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode 以 及 DataSource。弄懂这些配置，是正确使用 MyCat 的前提。这里就一层层对该文件进行解析。 childTable 标签 childTable 标签用于定义 E-R 分片的子表。通过标签上的属性与父表进行关联。 childTable 标签的相关属性： 属性名 值 数量限制 name String (1) joinKey String (1) parentKey String (1) primaryKey String (0…1) needAddLimit boolean (0…1) 1、name 属性 定义子表的表名。 2、joinKey 属性 插入子表的时候会使用这个列的值查找父表存储的数据节点。 3、parentKey 属性 属性指定的值一般为与父表建立关联关系的列名。程序首先获取 joinkey 的值，再通过 parentKey 属性指定 的列名产生查询语句，通过执行该语句得到父表存储在哪个分片上。从而确定子表存储的位置。 4、primaryKey 属性 该逻辑表对应真实表的主键，例如：分片的规则是使用非主键进行分片的，那么在使用主键查询的时候，就 会发送查询语句到所有配置的 DN 上，如果使用该属性配置真实表的主键。难么 MyCat

分片（水平拆分） 2.取模分片（mod-long） cd /data/mycat/conf cp schema.xml schema.xml.rang-long vi schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> <table name="t4" dataNode="sh1,sh2" rule="mod-long" /> </schema> <dataNode name="sh1" dataHost="oldguo1" database= "taobao" /> <dataNode name="sh2" dataHost="oldguo2" database= "taobao" /> <dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1">