mysql集群

最近一段时间都学习mysql，将重要的知识点总结如下： 一、字段、表、索引设计规范相关 二、事务相关 三、锁相关 四、存储引擎相关 五、大表优化相关 六、索引优化相关 七、语句优化相关 一、字段、表、索引设计规范 1、字段设计规范 ① 字段类型优先选择符合存储需要的最小类型 字段类型优先级：整型>date;time >enum>char;varchar>blob 原因：整型，time运算快，节省内存；enum列内部是用整型存储的，char，varchar要考虑字符集的转换和排序的校对集，速度慢；blob无法使用临时表。 ② 够用就行（如smallint，varchar(N)） 原因：大的字段浪费内存，影响速度，如varchar(10),varchar(300),虽然存储的内容一样，但是,在表联查时，varchar(300)要花更多内存 ③ 尽量避免使用允许为null() 原因：null不利于索引，要用特殊的字节标注，在磁盘上占的空间其实更大 例子：建两个相同字段的表，一个允许为null，一个不允许。可以发现为null的索引更大些。 ④ 避免使用ENUM类型 修改ENUM值需要使用ALTER语句 ENUM类型的ORDER BY操作效率低，需要额外操作 禁止使用数值作为ENUM的枚举值 ⑤ 使用TIMESTAMP（4个字节）或DATETIME类型（8个字节）存储时间 TIMESTAMP

一、环境简述 1、工作逻辑图 2、MySQL-MMM优缺点 优点：高可用性，扩展性好，出现故障自动切换，对于主主同步，在同一时间只提供一台数据库写操作，保证的数据的一致性。 缺点：Monitor节点是单点，可以结合Keepalived实现高可用，对主机的数量有要求，需要实现读写分离，对程序来说是个挑战。 3、MySQL-MMM工作原理 MMM(Master-Master replication managerfor Mysql， Mysql主主复制管理器 )是一套灵活的脚本程序，基于 perl实现，用来对 mysql replication进行监控和故障迁移，并能管理 mysql Master-Master复制的配置 (同一时间只有一个节点是可写的 )。 mmm_mond：监控进程，负责所有的监控工作，决定和处理所有节点角色活动。此脚本需要在监管机上运行。 mmm_agentd：运行在每个mysql服务器上的代理进程，完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。 mmm_control：一个简单的脚本，提供管理mmm_mond进程的命令。 mysql-mmm的监管端会提供多个虚拟IP（VIP），包括一个可写VIP，多个可读VIP，通过监管的管理，这些IP会绑定在可用mysql之上，当某一台mysql宕机时，监管会将VIP迁移至其他mysql。

整理了一些Java方面的架构、面试资料（微服务、集群、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取 更多优选 一口气说出 9种 分布式ID生成方式，面试官有点懵了 3万字总结，Mysql优化之精髓 为了不复制粘贴，我被逼着学会了JAVA爬虫 技术部突然宣布：JAVA开发人员全部要会接口自动化测试框架 Redis 5种数据结构及对应使用场景，全会面试要加分的 写在前边 在家远程办公第三周，快被手机上的消息搞的有些神经质了，生怕错过一条有用的信息，没办法形势如此，公司摇摇欲坠大家也都如履薄冰，毕竟这时候失业有点惨（ 穷怕了 ）。 但就干活来说还是比较清闲的，和在公司上班相比，清闲下来很多碎片时间，可以随意的做点自己喜欢的事情。而且我发现， 人一但闲下来真的是好可怕 ，潜在的才能会全面爆发，我女朋友这个抖音深度患者，一年不做一回饭的主，一周内接连给我做了两顿黑暗料理，烤馒头版“蛋糕”、浆糊版“凉皮”，然后我就与厕所结下来不解之缘。。。 不过，作为一个程序员，我对黑暗料理是不太感兴趣滴，闲下来还是喜欢学习钻研一些新奇的技术， canal 就成了很好的研究对象，一不小心就监控了公司MySQL的一举一动的 一、canal是个啥？ canal 是阿里开发的一款基于数据库增量日志解析，提供增量数据订阅与消费的框架，整个框架纯 JAVA 开发，目前仅支持

1引言 1.1 编写目的 本文的主要目的是通过对当前项目中使用的各种版本的数据库进行比较，分析各自特性和稳定程度，最终推荐合适的版本作为今后的标准数据库。 1.2 背景 当前，部门负责管理维护的现网使用数据库有Oracle、MySQL、PostgreSQL 等；由于使用的数据库大小版本各异，不利于规范管理，需要制定统一的标准。 1.3 参考资料 无 2使用分析 2.1 使用概况 在线版本 使用率 MySQL5.1 较高 MySQL5.5 较高 MySQL5.6 较高 MySQL5.7 较高 Oracle/PostgreSQL 低 表1 2.2 常用系统分析 从统计结果看，使用较多是MySQL，标准数据库选型将从MySQL中挑选。MySQL是一个 关系型数据库管理系统 ，由瑞典 MySQL AB 公司开发，目前属于 Oracle 旗下公司。MySQL 最流行的 关系型数据库管理系统 ，在 WEB 应用方面 MySQL 是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。MySQL 是一种关联 数据库管理系统 ，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL 所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL

阅读目录 一 存储引擎介绍 二 表介绍 三 创建表 四 查看表结构 五 数据类型 六 表完整性约束 七 修改表ALTER TABLE 八 复制表 九 删除表 一 存储引擎介绍 存储引擎即表类型，mysql根据不同的表类型会有不同的处理机制 1. 什么是存储引擎 mysql中建立的库===>文件夹 库中建立的 表 ===> 文件 现实生活中我们用来存储数据的文件有不同的类型，每种文件类型对应各自不同的处理机制 ：比如处理文本用txt类型，处理表格用excel，处理图片用png等 数据库中的表也应该有不同的类型， 表的类型不同 ，会对应mysql不同的 存取机制 ，表类型又称为 存储引擎 。 存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方 法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和 操作此表的类型） 在Oracle 和SQL Server等数据库中只有一种存储引擎，所有数据存储管理机制都是一样的。而MySql 数据库提供了多种存储引擎。用户可以根据不同的需求为数据表选择不同的存储引擎，用户也可以根据 自己的需要编写自己的存储引擎 SQL 解析器、SQL 优化器、缓冲池、存储引擎等组件在每个数据库中都存在,但不是每 个数据库都有这么多存储引擎。MySQL

Mysql部署 关于持久化部署mysql数据库 mysql数据库如果简单地部署在k8s集群上，当pods重启时，数据可能会造成丢失，经过查找资料，发现通过PV和PVC可以进行一个持久化的部署。 PV、PVC PersistentVolume（持久卷） 和 PersistentVolumeClaim（持久卷申请） PersistentVolume (PV) 是外部存储系统中的一块存储空间，由管理员创建和维护。与 Volume 一样，PV 具有持久性，生命周期独立于 Pod。 PersistentVolumeClaim (PVC) 是对 PV 的申请 (Claim)。PVC 通常由普通用户创建和维护。需要为 Pod 分配存储资源时，用户可以创建一个 PVC，指明存储资源的容量大小和访问模式（比如只读）等信息，Kubernetes 会查找并提供满足条件的 PV 1.什么是持久化？ 本人找了好多文章都没有找到满意的答案，最后是从孙卫琴写的《精通Hibernate：Java对象持久化技术详解》中，看到如下的解释，感觉还是比较完整的。摘抄如下： 狭义的理解: “持久化”仅仅指把域对象永久保存到数据库中；广义的理解,“持久化”包括和数据库相关的各种操作。 ● 保存：把域对象永久保存到数据库。 ● 更新：更新数据库中域对象的状态。 ● 删除：从数据库中删除一个域对象。 ● 加载：根据特定的OID

一、为什么要分库分表 软件时代，传统应用都有这样一个特点：访问量、数据量都比较小，单库单表都完全可以支撑整个业务。随着互联网的发展和用户规模的迅速扩大，对系统的要求也越来越高。因此传统的MySQL单库单表架构的性能问题就暴露出来了。而有下面几个因素会影响数据库性能: 数据量 MySQL单库数据量在5000万以内性能比较好，超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w-1000w之间性能比较好，超过1000w性能也会下降。 磁盘 因为单个服务的磁盘空间是有限制的，如果并发压力下，所有的请求都访问同一个节点，肯定会对磁盘IO造成非常大的影响。 数据库连接 数据库连接是非常稀少的资源，如果一个库里既有用户、商品、订单相关的数据，当海量用户同时操作时，数据库连接就很可能成为瓶颈。 为了提升性能，所以我们必须要解决上述几个问题，那就有必要引进分库分表，当然除了分库分表，还有别的解决方案，就是NoSQL和NewSQL，NoSQL主要是MongoDB等，NewSQL则以TiDB为代表。 二、分区分库分表的原理 1、什么是分区、分表、分库 （1）分区 就是把一张表的数据分成N个区块，在逻辑上看最终只是一张表，但底层是由N个物理区块组成的，分区实现比较简单，数据库mysql、oracle等很容易就可支持。 （2）分表

Mysql + canal + zookeeper环境搭建 一、mysql集群搭建 1. mysql基本环境 操作系统： Linux version 2.6.32-431.el6.x86_64 数据库：MySQL Community Server 5.7.20 主节点IP：10.60.81.157 主节点IP：10.60.81.158 从节点IP：10.60.81.159 2. 安装mysql 2.1．官网下载MySQL mysql-5.7.20-1.el6.x86_64.rpm-bundle.tar 2.2. 三个节点都安装： 2.2.1．三个节点查看是否安装mysql rpm -qa | grep mysql rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64 （有则删除） 2.2.2. 三个节点都安装mysql tar –xvf mysql-5.7.20-1.el6.x86_64.rpm-bundle.tar rpm -ivh mysql-community-common-5.7.20-1.el6.x86_64.rpm rpm -ivh mysql-community-libs-5.7.20-1.el6.x86_64.rpm rpm -ivh mysql-community-client-5.7.20-1.el6.x86_64

一、 知识点目录 Oracle的概念和安装 基本查询 条件查询 Oracle中的函数 多表查询 子查询 表空间的状态 用户 视图 索引 序列 同义词 PLSQL编程 游标 存储过程 存储函数 触发器 二、Oracle MySQL：开源免费，中小型企业。淘宝网用MySQL集群 Oracle：收费，国企、金融、银行，证券，保险。京东用Oracle。 按CPU核数，一核=永久使用费用 18万 三、Oracle体系结构 数据库：文件系统（相当于Java中的类） 数据库实例：实例。通常情况下Oracle数据库只会有一个实例ORCL 表空间：表空间可以创建用户，用户可以创建表。逻辑单位 数据文件：物理单位 新建一个项目： MySQL：新建一个数据库，然后新建表 Oracle：创建一个表空间，创建用户，用户去创建表 Oracle是多用户的，MySQL是多数据库的 四、Oracle和MySQL的差别： 二者皆遵循SQL标准，SQL语句类似，但是有各自的方言 使用自己的方言也能够完成相同的功能 Oracle安全性能较好，MySQL开源免费 五、 SQL：结构化查询语言 DDL ： 数据定义语言 create alter drop truncate DML： 数据操纵语言 insert update delete DCL： 数据控制语言 安全 授权 grant revoke DQL： 数据查询语言

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 github地址： https://github.com/yoshinorim **该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。**MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。 ​ 在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问