一.Mycat基本元素
- 1.逻辑库,mycat中存在,对应用来说相当于mysql数据库,后端可能对应了多个物理数据库,逻辑库中不保存数据
- 2.逻辑表,逻辑库中的表,对应用来说相当于mysql的数据表,后端可能对应多个物理数据库中的表,也不保存数据
逻辑表分类
- 1.分片表,进行了水平切分的表,具有相同表结构但存储在不同数据库中的表,所有分片表的集合才是一张完整的表
- 2.非分片表,垂直切分的表,一个数据库中就保存了一张完整的表
- 3.全局表,所有分片数据库中都存在的表,如字典表,数量少,由mycat来进行维护更新
- 4.ER关系表,mycat独有,子表依赖父表,保证在同一个数据库中
二.安装mycat
- 1.配置环境变量
export JAVA_HOME=/usr/lib/jdk1.8.0_20 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:/usr/local/mycat/bin export MYCAT_HOME=/usr/local/mycat export ZOOKEEPER_HOME=/usr/ local/zookeeper-3.4.12/ export PATH=$PATH:$ZOOKEEPER_HOME/bin
- 2.mycat内存分配大小
#wrapper.conf wrapper.java.additional.5=-XX:MaxDirectMemorySize=2G wrapper.java.additional.6=-Dcom.sun.management.jmxremote
- 3.启动关闭
[root@mycat01 conf]# mycat --help Usage: /usr/local/mycat/bin/mycat { console | start | stop | restart | status | dump }
三.mycat配置文件
3.1 server.xml
- 配置系统相关参数,如连接数
- 配置用户访问权限
- 配置逻辑库信息
- 配置SQL防火墙、SQL拦截功能
1.系统参数标签
<system> <property name="${key}">${value}</property> </system>
2.系统常用标签含义
<property name="serverPort">8066</property> <!-- mycat服务端口,转发mysql服务的端口 --> <property name="managerPort">9066</property> <!-- mycat管理端口,转发mysql服务的端口 --> <property name="nonePassWordLogin">0</property> <!-- 登录mycat是否需要密码验证,0-需要,1不需要 --> <property name="bindIp">0.0.0.0</property> <!-- mycat监听地址,默认全部监听,可以指定网卡IP --> <property name="frontWriteQueueSize">4096</property> <!-- 前端应用写队列大小 --> <property name="charset">utf8</property> <!-- 前端应用,后端DB需要保持一致避免乱码 --> <property name="txlsolation">2</property> <!-- 与mysql一致,0-读未提交,1-读已提交,2-可重复读,3-顺序读 --> <property name="processors">8</property> <!-- mycat线程数=CPU核数 --> <property name="idleTimeout">1800000</property> <!-- 前端应用不访问的超时断开时间,和mysql的idletime一致,单位毫秒,默认30分钟 --> <property name="sqlExecuteTimeout">300</property> <!-- SQL执行超时时间,单位秒,默认10分钟 --> <property name="defaultMaxLimit">100</property> <!-- mycat默认返回数据集大小,默认100行 --> <property name="maxPacketSize">10485700</property> <!-- mycat默认返回包大小,与mysql保持一致 -->
3. mycat访问用户权限参数标签
<user name="readonly"> <!-- 逻辑库用户账号 --> <property name="password">readonly1</property> <!-- 逻辑库用户密码 --> <property name="schemas">test</property> <!-- 逻辑库用户能访问的逻辑库schema,多个schema用分号隔开 <property name="schemas">test,db1,db2</property> --> <property name="readOnly">true</property> <!-- 对逻辑库是否只读 --> </user>
- 1.对单个表特殊授权
<user name="root" defaultAccount="true"> <property name="password">readonly1</property> <property name="schemas">test</property> <privileges check="true"> <!-- 对需要控制权限的schema包裹权限privileges标签 --> <schema name="db01" dml="0110"> <!-- 指定整个逻辑库schema的权限,权限分别是insert,update,select,delete,1为真,0为假 --> <table name="table1" dml="0000"></table> <!-- 指定单个逻辑表的权限,这里的权限会覆盖上面的权限是 --> <table name="table2" dml="1111"></table> </schema> </privileges> </user>
- 2.密码加密
java -cp /usr/local/mycat/lib/Mycat-server-1.6.5-release.jar io.mycat.util.DecryptUtil 0:root:123456 # 启用并更改密码为密文,0表示前端加密 <property name="usingDecrypt">1</property> <property name="password">xasdfasdxSFA23</property> # 1.5.1如下 [root@mycat01 lib]# java -cp /usr/local/mycat/lib/Mycat-server-1.5.1-RELEASE.jar org.opencloudb.util.DecryptUtil 0:root:password a2SY+TZczkA9Fz9+QA3DoY7W7+Vp62782bp/qR1BNN8XjDXfiImfArARJyWdIcm8RMIU29p5FijneWPoHUyZgw== # 重启mycat生效
3.2 mycat日志log4j2.xml
- 1.配置输出日志的格式
- 2.配置输出日志的级别
<PatternLayout> <Pattern> %d{yyy-MM-dd HH:mm:ss.SSS} %5p [%t] - %m%n </Pattern> <PatternLayout> # %d{yyy-MM-dd HH:mm:ss.SSS} 时间格式 # %5p 日志输出级别,5代表具体的5个字符级别 # %t 日志中纪录线程名称 # %m 输出代码中指定的消息 # %n 换行符 07/28 15:27:15.985 DEBUG [Timer1] (SQLJob.java:85) -con query sql:show slave status to con:MySQLConnection [id=25, lastTime=1532762835985, user=root, schema=sqltest, old shema=sqltest, borrowed=true, fromSlaveDB=true, threadId=17, charset=utf8, txIsolation=0, autocommit=true, attachment=null, respHandler=null, host=172.16.10.153, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
- 3.级别分类
<level value="debug" /> ALL Trace Debug Info Warn Error Fatal OFF
3.3 rule.xml规则
- 水平分表的时候才需要配置
- 指定分片规则和分片规则对应的分片函数
<tableRule name="hash-mod-4_id"> <!-- 分片规则名称,整个配置文件唯一,分片算法-分片节点数_分片列名 --> <rule> <columns>id</columns> <!-- 分片使用的列字段,必须是实际存在的列 --> <algorithm>hash-mod-4</algorithm> <!-- 分片的算法,取自<function>的name属性 --> </rule> </tableRule> <function name="hash-mod-4" class="org.opencloudb.route.function.PartitionByHashMod"> <!-- 分片算法,唯一;JAVA类路径,1.6是"io.mycat.route.function.PartitionByHashMod"--> <property name="count">4</property> <!-- 不同分片算法属性不一样,这里是将数据分成4份 --> </function>
1.常用分片算法
- 1.简单取模-PartitionByMod,适用于整数类型的列,简单取模存储到后端节点-分片基数,数据分布比较均匀
<tableRule name="customer_login"> <rule> <columns>customer_id</columns> <!-- 这个列整形 --> <algorithm>mod-long</algorithm> </rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByMod"> <property name="count">2</property> </function>
- 2.hash取模-PartitionByHashMod,适用非整形类型的列,如字符串、日期,经过hash后再进行取模,数据分布可能不均匀
<tableRule name="customer_login"> <rule> <columns>login_name</columns> <!-- 这个列是字符串 --> <algorithm>mod-long</algorithm> </rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByHashMod"> <!-- 分片算法不一样 --> <property name="count">2</property> </function>
前面两个算法是利用mycat本身算法分片,后面两算法可以人为控制
- 3.枚举分片-PartitionByFileMap,根据可能的枚举值指定数据存储的节点位置,需要额外增加mapfile文件,适用按地区来分片业务场景
mapFile记录可能出现的值,及分片值对应的节点索引
<tableRule name="customer_login"> <rule> <columns>login_name</columns> <!-- 这个列是字符串 --> <algorithm>filemap-int</algorithm> </rule> </tableRule> <function name="filemap-int" class="io.mycat.route.function.PartitionByFileMap"> <!-- 分片算法不一样 --> <property name="mapFile">partition-hash-int.txt</property> <!-- partition-hash-int.txt,存在conf目录 10000=0 10001=1 DEFAULT_NODE=0 --> <property name="type">0</property> <!-- mapfile中枚举key的类型,0代表整形,非0代表string --> <property name="DefaultNode">0</property> <!-- 大于等于0启用默认节点,小于0不启用默认节点 --> </function>
- 4.字符串范围取模-PartitionByPrefixPattern,截取固定长度字符串进行ascii码求和,然后除以求模基数(配置文件指定),确定数据存储节点
<tableRule name="customer_login"> <rule> <columns>login_name</columns> <!-- 这个列是字符串 --> <algorithm>filemap-int</algorithm> </rule> </tableRule> <function name="filemap-int" class="io.mycat.route.function.PartitionByPrefixPattern"> <!-- 分片算法不一样 --> <property name="patternValue">128/property> <!-- 求模基数 --> <property name="mapFile">prefix-partition-pattern.txt</property> <!-- partition-hash-int.txt,存在conf目录 0-63=0 64-127=1 --> <property name="PrefixLength">2</property> <!-- 截取的字符串长度 --> </function>
3.4 schema.xml逻辑库-物理库信息
- 配置逻辑库及逻辑表信息
- 配置逻辑表所存储的数据节点
- 配置数据节点所对应的物理数据库服务器信息
1.定义逻辑库
<schema name="test" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn_test"> </schema> <!-- 定义逻辑库的名称,可以和物理库不一样,checkSQLschema-判断是否检查发给mycat的sql是否含有库名,sqlMaxLimit-限制前端应用的默认返回行数,如果这里没有配置,将使用server.xml中的参数值,-1表示不限制返回函数 -->
2.定义逻辑表
<table name="customer_login" primaryKey="customer_id" dataNode="logindb01,logindb02" rule="customer_login"/> <!-- 定义逻辑表的名称,必须和物理表名一致;定义逻辑表主键,和物理表主键一致,可以缓存主键信息,提高查询性能;指定物理表存储的物理节点;物理节点顺序和rule.xml节点顺序必须一致; 指定分片规则,这里的customer_login分配规则名称对应rule.xml的tableRule名称-->
3.定义物理数据库
<dataNode name="dn_test" dataHost="dh_10.151" database="test" /> <!-- 物理节点名称,唯一;mysql集群的名称;集群中物理数据库名称 -->
4.定义mysql集群信息
<dataHost name="dh_10.151" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <!-- mysql集群的名称,唯一;mycat与后端数据库的最大、初始化连接数; --> <heartbeat>show slave status</heartbeat> <!-- <heartbeat>select user()</heartbeat> --> <!-- can have multi write hosts --> <writeHost host="Master_vip" url="172.16.10.151:3306" user="root" password="123456"> <!-- can have multi read hosts --> <readHost host="S1_10.153" url="172.16.10.153:3306" user="root" password="123456" /> <readHost host="S2_10.154" url="172.16.10.154:3306" user="root" password="123456" /> </writeHost> <!-- <writeHost host="hostM2" url="localhost:3306" user="root" password="123456"/> --> </dataHost> # balance # "0" 不开启读写分离机制,适用只有一个mysql数据库实例,或者读写敏刚应用 # "1" 全部的readhost和stand by writehost参与select语句负载均衡,适用双主双从实例 # "2" 所有的readhost和writehost都参与select语句负载均衡,适用写压力不大的应用场景 # "3" 所有readhost参与select语句的负载均衡,适用一主多从实例架构 # writeType # "0" 默认值,所有的写请求落在第一个writehost上,当第一个writehost宕机后,才会选择第二个writehost主机 # "1" 随机将write请求分发到writehost主机上,有风险,适用PXC多写集群 # dbType # 可以用于mongodb,用jdbc驱动 # switchType 写数据库如何进行切换 # "1" 当写主机不可用,自动切换到下一个可用写节点 # "-1" 关闭自动切换写主机功能,适用MHA管理的集群 switchType="-1,1,2,3" --是否启用主从切换 -1:表示不启用主从切换; 1:为默认值,自动切换; 2:基于主从同步的状态,决定是否切换,与show slave status心跳对应; 3:基于多住galary集群切换,与show status like 'wsrep%'对应; <heartbeat>show slave status</heartbeat> --心跳检测语句,一般为select user(); 如果是switchType=2,基于主从同步状态决定是否切换,则心跳设为show slave status; 如果是switchType=3,则心跳设为show status like 'wsrep%';
5.关于balance补充
- 1.一主一从情况下,为
1
有可能无法select 从库,读写均落在主库 - 2.一主情况下,主库宕机,所有从库无法通过mycat连接
- 3.一主多从,balance设为
1
,select均在从库 - 4.一主一从,balance设为
3
,select在从库 通常使用该项 - 5.一主一从,balance设为
2
,select会落在从库