mysql集群

一 存储引擎介绍 存储引擎即表类型，mysql根据不同的表类型会有不同的处理机制 一 什么是存储引擎 mysql中建立的库===>文件夹 库中建立的表===>文件 现实生活中我们用来存储数据的文件有不同的类型，每种文件类型对应各自不同的处理机制：比如处理文本用txt类型，处理表格用excel，处理图片用png等 数据库中的表也应该有不同的类型，表的类型不同，会对应mysql不同的存取机制，表类型又称为存储引擎。 存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方 法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和 操作此表的类型） 在Oracle 和SQL Server等数据库中只有一种存储引擎，所有数据存储管理机制都是一样的。而MySql 数据库提供了多种存储引擎。用户可以根据不同的需求为数据表选择不同的存储引擎，用户也可以根据 自己的需要编写自己的存储引擎 SQL 解析器、SQL 优化器、缓冲池、存储引擎等组件在每个数据库中都存在,但不是每 个数据库都有这么多存储引擎。MySQL 的插件式存储引擎可以让存储引擎层的开发人员设 计他们希望的存储层,例如,有的应用需要满足事务的要求,有的应用则不需要对事务有这 么强的要求 ;有的希望数据能持久存储,有的只希望放在内存中,临时并快速地提供对数据 的查询。

MySQL最重要、最与众不同的特性是它的存储引擎架构，这种架构的设计将查询处理(Query Processing)及其他系统任务(Server Task)和数据的存储/提取相分离。这种处理和存储分离的设计可以在使用时根据性能、特性，以及其他需求来选择数据存储的方式 1.1 MySQL逻辑架构 最上层服务大多数系统都有，连接处理、授权认证、安全等等 第二层包含MySQL的大多数核心功能 第三层包含了存储引擎。存储引擎负责MySQL中数据的存储和提取 1.1.1 连接管理与安全性 每个客户端连接都会在服务器进程中拥有一个线程，这个连接的查询只会在这个单独的线程中执行，该线程只能轮流在某个CPU核心或者CPU中运行。服务器会负责缓存线程，因此不需要为每一个新建的连接创建或者销毁线程。 当客户端连接到MySQL服务器时，服务器需要对其进行认证。认证基于用户名、原始主机信息和密码。如果使用了 安全套接字 SSL)的方式连接，还可以使用X.059证书认证。一旦客户端连接成功，服务器会继续验证该客户端是否具有执行某个特定查询的权限(例如，是否允许客户端对world数据库的Country表执行SELECT语句)。 1.1.2 优化与执行 MySQL会解析查询，并创建内部数据结构，然后对其进行各种优化，包括重写查询、决定表的读取顺序，以及选择合适的索引等。 对于SELECT语句，在解析查询之前

一 什么是存储引擎 mysql中建立的库===>文件夹 库中建立的表===>文件 现实生活中我们用来存储数据的文件有不同的类型，每种文件类型对应各自不同的处理机制：比如处理文本用txt类型，处理表格用excel，处理图片用png等 数据库中的表也应该有不同的类型，表的类型不同，会对应mysql不同的存取机制，表类型又称为存储引擎。 存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方 法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和 操作此表的类型） 在Oracle 和SQL Server等数据库中只有一种存储引擎，所有数据存储管理机制都是一样的。而MySql 数据库提供了多种存储引擎。用户可以根据不同的需求为数据表选择不同的存储引擎，用户也可以根据 自己的需要编写自己的存储引擎 SQL 解析器、SQL 优化器、缓冲池、存储引擎等组件在每个数据库中都存在,但不是每 个数据库都有这么多存储引擎。MySQL 的插件式存储引擎可以让存储引擎层的开发人员设 计他们希望的存储层,例如,有的应用需要满足事务的要求,有的应用则不需要对事务有这 么强的要求 ;有的希望数据能持久存储,有的只希望放在内存中,临时并快速地提供对数据 的查询。 二 mysql支持的存储引擎 MariaDB [(none)]> show

目录 参考文档 理论概述 DRBD 架构 NFS 架构部署 部署DRBD 部署heartbeat 部署NFS及配合heartbeat nfs切记要挂载到别的机器上不要为了省事，省机器 参考文档 https://blog.51cto.com/732233048/1669417 CentOS 7下安装配置Heartbeat高可用集群_服务器应用_Linux公社-Linux系统门户网站 https://www.linuxidc.com/Linux/2019-02/157123.htm NFS自动挂载_服务器应用_Linux公社-Linux系统门户网站 https://www.linuxidc.com/Linux/2013-05/84777.htm 1 NFS高可用解决方案之DRBD+heartbeat搭建 - 温柔易淡 - 博客园 https://www.cnblogs.com/liaojiafa/p/6129499.html Linux HA集群之DRBD详解(较全面) 构建Mysql+heartbeat+DRBD+LVS集群应用系统系列之DRBD的搭建 https://www.cnblogs.com/liaojiafa/p/6118425.html RHEL/CentOS/Fedora各种源(EPEL、Remi、RPMForge、RPMFusion)配置 - AderStep -

优秀DBA的素质 1 、人品，不做某些事情 2 、严谨，运行命令前深思熟虑，三思而后行，即使是依据select 3 、细心，严格按照步骤一步一步执行，减少出错 4 、心态，遇到灾难，首先要稳住，不慌张，不要受到旁人的影响 5 、熟悉操作系统，Linux系统的工具和命令 6 、熟悉业务 ( 开发 )，编程语言 7 、熟悉行业 8 、喜欢数据库 • 什么是数据？ 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。 • 什么是数据库管理系统？ 将大量的数据规范的管理在一起的软件 • 数据库管理系统种类 关系型和非关系型 • 关系型数据库的特点 　　– 二维表 　　– 典型产品 Oracle传统企业， MySQL是互联网企业 　　– 数据存取是通过SQL 　　– 最大特点，数据安全性方面强（ACID） • NoSQL：非关系型数据库（Not only SQL） 　　– 不是否定关系型数据库，做关系型数据库的的补充。 　　– 想做老大，先学会做老二。 RDBMS与NoSQL对比 • web1.0时代 　　企业提供内容，用户浏览，所以关系型数据库够用，并发并不高，所以不需要NoSQL。 • web2.0时代 　　核心是企业提供平台，用户参与提供内容。这时关系型数据库无法满足需求了。 • 2003

文章目录 一、掌握Mysql复制方式的区别及优缺点 二、了解半同步复制出现的必要性 半同步工作原理 三、配置半同步复制 实验环境 一、掌握Mysql复制方式的区别及优缺点 异步复制（Asynchronous replication） MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完 全同步复制（Fully synchronous replication） 指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。 半同步复制（Semisynchronous replication） 介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。 在2010年MySQL 5.5版本之前，一直采用的是这种异步复制的方式

文章目录 一、mysql全同步复制（组复制） 1、理解组复制工作原理 2、搭建mysql全同步复制多主模式 实验环境 实验 3、多主模式切换成单主模式 4、单主模式切换成多主模式 一、mysql全同步复制（组复制） 1、理解组复制工作原理 MySQL组复制是一个MySQL插件，它基于常规的MySQL复制，利用了基于行格式的二进制日志和GTID等特性。 MySQL组复制是MySQL 5.7.17开始引入的新功能，为主从复制实现高可用功能。它支持单主模型和多主模型两种工作方式 (默认是单主模型) 。 单主模型：从复制组中众多个MySQL节点中自动选举一个master节点，只有master节点可以写，其他节点自动设置为read only。当master节点故障时，会自动选举一个新的master节点，选举成功后，它将设置为可写，其他slave将指向这个新的master。 多主模型：复制组中的任何一个节点都可以写，因此没有master和slave的概念，只要突然故障的节点数量不太多，这个多主模型就能继续可用。 组由多个服务器构成，通过传递消息进行交互，通信层保证原子消息传递。MGR构建于此通信层抽象之上，并实现了多主更新复制协议。组中的每个服务器独立地执行事务，但是所有读写事务只有在得到组的批准后才会提交。只读事务在组内不需要协调，因此立即提交。对于任何读写事务

实现MySQL读写分离的前提是我们已经将MySQL主从复制配置完毕，可参考上一篇关于 MySQL数据库集群实战（2）——MySQL主从复制之异步复制（传统复制postion与GTID） 的文章。配置基于GTID的异步复制。 文章目录 一、MySQL读写分离 1、为什么要进行读写分离 2、读写分离的实现原理 3、mysql中间件服务mysql-proxy 二、搭建MySQL数据库的读写分离 实验环境 实验 测试读写分离 一、MySQL读写分离 1、为什么要进行读写分离 当我们的数据量很大时，数据库服务器的压力变大，这时候我们需要从架构方面来解决这一问题，在一个网站中读的操作很多，写的操作很少，这时候我们需要配置读写分离，把读操作和写操作分离出来，最大程度的利用好数据库服务器。 2、读写分离的实现原理 读写分离的实现原理就是在执行SQL语句的时候，判断到底是读操作还是写操作，把读的操作转向到读服务器上（从服务器，一般是多台），写的操作转到写的服务器上（主服务器，一般是一台，视数据量来看）。 3、mysql中间件服务mysql-proxy mysql-proxy是mysql官方提供的mysql中间件服务，上游可接入若干个mysql-client，后端可连接若干个mysql-server。 它使用mysql协议，任何使用mysql-client的上游无需修改任何代码，即可迁移至mysql

参照原文：http://www.cnblogs.com/gomysql/p/3671896.html 简介 MMM（Master-Master replication manager for MySQL）是一套支持双主故障切换和双主日常管理的脚本程序。MMM使用Perl语言开发，主要用来监控和管理MySQL Master-Master（双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时刻备选主的预热，可以说MMM这套脚本程序一方面实现了故障切换的功能，另一方面其内部附加的工具脚本也可以实现多个slave的read负载均衡。 MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip，同时它还可以备份数据，实现两节点之间的数据同步等。由于MMM无法完全的保证数据一致性，所以MMM适用于对数据的一致性要求不是很高，但是又想最大程度的保证业务可用性的场景。对于那些对数据的一致性要求很高的业务，非常不建议采用MMM这种高可用架构。 MMM项目来自 Google： http://code.google.com/p/mysql-master-master 官方网站为： http://mysql-mmm.org 下面我们通过一个实际案例来充分了解MMM的内部架构，如下图所示。 具体的配置信息如下所示： 角色

文章目录 官方文档 概述 示例 大表数据的分批处理 修改大表的表结构 方案一 : 从表修改，主从切换 方案二： pt-online-schema-change 官方文档 https://dev.mysql.com/doc/ 如果英文不好的话，可以参考 searchdoc 翻译的中文版本 http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html 概述 MySQL-获取有性能问题SQL的方法_慢查询 & 实时获取 MySQL- SQL执行计划 & 统计SQL执行每阶段的耗时 上面两篇文章我们知道了如何获取有问题的SQL，以及如何统计SQL每个阶段的耗时，这样我们去优化的时候就更加有针对性。 这里我们列举几个例子，来看下如何具体的优化SQL 示例 大表数据的分批处理 分批处理大表的数据，特别是主从复制的MySQL集群， 每处理一批最好留一点时间，给主从同步复制留一点时间。 举个例子 有个大表 1千万数据，我们要修改其中的100万， 那么最好分多个批次来更新，每次5000或者1万，根据自己服务器的性能合理的调整。 存过如下， 根据自己的业务调整。 DELIMITER $$ USE ` artisan ` $$ DROP PROCEDURE IF EXISTS