mysql集群

本文转载自： https://www.93bok.com 实验环境： Centos6.5 minimal 64位系统 服务器IP：192.168.10.22（mycat） 192.168.10.27（master） 192.168.10.29（slave） 192.168.10.21（测试客户端） 说明： 1. 安装包已经提前下载好，此文档中不再演示下载步骤 2. 根据笔者习惯，所有的源码包都在/a01/apps/apps_src/ 3. 所有的服务安装路径都在/a01/apps/xxxxxxx 4. 服务器只安装了MySQL，如果不会安装，请参考之前文章 包版本： MySQL： mysql-5.7.19.tar.gz或者mysql-boost-5.7.19.tar.gz Mycat： Mycat-server-1.6.5-release-20171117203123-linux.tar JDK： jdk-8u151-linux-x64.tar.gz JDK去oracle官网下载： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Mycat官网下载： http://www.mycat.io/ MySQL读写分离的概述 Mysql作为目前世界上使用最广泛的免费数据库

本文转载自： https://www.93bok.com MGR简介 MySQL Group Replication（简称MGR）是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案。MySQL组复制提供了高可用、高扩展、高可靠的MySQL集群服务。 1）高一致性 基于原生复制及paxos协议的组复制技术，并以插件的方式提供，提供一致数据安全保证； 2）高容错性 只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优先原则进行处理，并且内置了自动化脑裂防护机制； 3）高扩展性 节点的新增和移除都是自动的，新节点加入后，会自动从其他节点上同步状态，直到新节点和其他节点保持一致，如果某节点被移除了，其他节点自动更新组信息，自动维护新的组信息； 4）高灵活性 有单主模式和多主模式，单主模式下，会自动选主，所有更新操作都在主上进行；多主模式下，所有server都可以同时处理更新操作。 MGR是MySQL数据库未来发展的一个重要方向。 MGR基础结构要求 1、引擎必须为innodb,因为需事务支持在commit时对各节点进行冲突检查 2、每个表必须有主键，在进行事务冲突检测时需要利用主键值对比 3、必须开启binlog且为row格式 4、必须打开GTID特性，且主从状态信息存于表中 （--master-info

下载说明 mysql、oracle这2个数据库都是oracle公司的，不知道是不是晚上要维护，这家公司的服务器晚上很卡，尽量早上下载。 mysql可以下载msi、zip，但zip配置麻烦，建议使用msi。 第一个是网络安装包，安装时根据选择下载插件；第二个里面已经包含了所有插件。 安装MySQL 自定义安装 只选择mysql server即可，这个选项自带了命令行客户端。 选第一项，不搭建mysql集群，mysql集群都是搭建在linux上的。 使用默认配置即可 开发机：mysql只占用少量内存 服务器：mysql占用一半左右的内存 专用服务器：mysql占用全部内存，机器上不能再同时作为其他服务器。 根据前面选择的mysql版本进行选择 第一个是强密码验证，更安全，版本8选择此项（版本8才支持此项） 第二个是弱密码验证，为版本5保留的，版本5选此项 设置root账户的密码即可。如果要添加用户，role选择DB Manager。 使用默认配置即可 安装完默认已启动mysql服务 Win+S搜索mysql： 可以通过命令行客户端来操作mysql server。 安装程序也保留着，可以添加、移除插件、重新修改安装选项。 安装目录下有配置文件，也可以在配置文件中修改： 第一个安装mysql的配置文件 第二个是mysql-server默认的配置文件（自带的） 第三个是要使用的mysql

导入jar包时，出现： Using python /usr/bin/python Setup ambari-server ERROR: Exiting with exit code 1. REASON: File /usr/share/java/mysql-connect-java.jar does not exist ! 解决方案： ambari-server setup \ --jdbc-db = mysql \ --jdbc-driver = /usr/share/java/mysql-connector-java.jar 这里是connector，“tor” 来源： CSDN 作者： 樱浅沐冰 链接： https://blog.csdn.net/qq_45300786/article/details/104669798

工作流调度系统产生背景 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等。 各个任务单元之间存在时间先后依赖关系。 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 简单的任务调度： 直接使用linux的crontab来定义,但是缺点也是比较明显，无法设置依赖。 复杂的任务调度：Azkaban Azkaban 调度器 azkaban一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流 Azkaban集群部署 1.准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 本文档中默认已安装好mysql服务器。 2.上传安装包 将安装包上传到集群,最好上传到安装hive、sqoop的机器上,方便命令的执行。 新建azkaban目录,用于存放azkaban运行程序。 3.azkaban web 服务器安装 解压azkaban-web-server-2.5.0.tar.gz 命令: tar –zxvf

大纲 一、前言 二、环境准备 三、Corosync 安装与配置 四、Pacemaker 安装与配置 五、DRBD 安装与配置 六、MySQL 安装与配置 七、crmsh 资源管理 推荐阅读： Linux 高可用(HA)集群基本概念详解 http://www.linuxidc.com/Linux/2013-08/88522.htm Linux 高可用（HA）集群之Heartbeat详解 http://www.linuxidc.com/Linux/2013-08/88521.htm 一、前言 前几篇博文中我们讲解了，heartbeat、corosync、pacemaker，也讲解了高可用的Web集群、高可用的Mysql集群，这一篇博文 进行小小的总结，heartbeat与corosync是流行的Messaging Layer （集群信息层），非要在这两个当中选一个我选择corosync，至于理由是仁者见仁，智者见智啦，用过的人都知道。Pacemaker是最流行的 CRM（集群资源管理器），是从heartbeat v3中独立出来的资源管理器，同时Corosync+Pacemaker是最流行的高可用集群的套件，前面我们讲解的高可用的Mysql集群是 heartbaet+mysql+nfs组合，其有点令人不满意的是得要三台服务器，其中一台为共享存储，可是这对于中小型公司来说

多版本并发控制 MySQL的大多数事务型存储引擎实现的都不是简单的行级锁。基于提升并发性能的考虑，它们一般都同时实现了多版本并发控制(MVCC)。不仅是MySQL，包括Oracle、PostgreSQL等其他数据库系统也都实现了MVCC，但各自的实现机制不尽相同，因为MVCC没有一个统一的实习标准。 可以认为MVCC是行级锁的一个变种，但是它在很多情况下避免了加锁操作，因此开销更低。虽然实现机制不同，但大都实现了非阻塞的读操作，写操作也只锁定了必要的行。 MVCC的实现，是通过保存数据在某个时间点的快照来实现的。也就是说，不管需要执行多长时间，每个事务看到的数据都是一致的。根据事务开始的时间不同，每个事务对同一张表，同一时刻看到的数据可能是不一样的。 前面说到不同存储引擎的MVCC实现是不同的，典型的有乐观（optimistic）并发控制和悲观（pessimistic）并发控制。下面我们通过InnoDB的简化版行为来说明MVCC是如何工作的。 InnoDB的MVVC，是通过在每行记录后面保存两个隐藏列来实现的。一个保存了行的创建时间，一个保存了行的过期时间（或删除时间）。当然存储的并不是实际的时间值，而是系统版本号（system version number）。每开启一个新的事务，系统版本号都会自动递增。事务开始时刻的系统版本号会作为当前事务的版本号

作者：任仲禹 一、InnoDB ReplicaSet 介绍 MySQL 副本集（官方名称：MySQL InnoDB ReplicaSet）在 MySQL 8.0.19 版本（2020-01-13 Released）之后开始支持，本质还是是基于 GTID 的异步复制 角色分为 Primary 和 Secondary Primary 即传统意义上的 Master，一个副本集只允许一个 Secondary 即 Slave，允许一个或多个 通过 MySQL Shell 自带的 AdminAPI 创建、配置、删除等管理副本集 通过 MySQL Router 使用副本集，引导与连接方式与 InnoDB Cluster 和 MGR 有点类似，不同之处在于新增了 cluster_type = rs 集群类型。 二、通过 MySQL Shell 部署 Sandbox 实例 MySQL Shell 除了集成 AdminAPI 外还提供了 MySQL Sandbox 功能，可轻松部署用以测试的 MySQL 数据库实例 通过 Sandbox 一键部署三个 MySQL 实例 # mysqlsh MySQL JS > dba.deploySandboxInstance(3306) MySQL JS > dba.deploySandboxInstance(3307) MySQL JS > dba

1、主从介绍： mysql主从又叫Replication,AB两台机器复制,也就是说是AB两台机器做了主从后,在A机器上写数据,另一台B机器也会跟中写数据,两者数据实时同步： mysql主从是基于 binlog ,主上必须开启 binlog 才能进行主从：binlog是一个 二进制的日记文件 ： mysql主从的过程步骤 ： 1:主将更改操作记录(增删改)到 binlog 里： 2:从将主的 binlog事件 ( SQL语句 )同步到从本机并记录 relaylog 中： 3:从根据 relaylog 里面的语句按数据严格执行： 注释： 主从过程涉及到三个线程, 主(logdump线程) 从(I/O线程、SQL线程) 主上 有一个 线程(logdump) 用来和从的 I/O线程 传递binlog: 从上有两个线程： I/O线程 用来同步主的binlog至本机并生成 relaylog : SQL线程 用来把r elaylog里的sql语句 按数据执行： 附记： master主会把操作记录到binlog中,通过线程dumplog和从线程I/O线程传递binlog,从通过线程I/O收到binlog后至本机生成relaylog,并通过线程SQL来按顺序执行relaylog里的sql语句： 应用场景 ： 1、 用于备份重要数据：(仅仅只作为备份)：主机器宕机,从机器还能随时对web提供服务：

必须先卸载mariadb-libs yum -y remove mari* PXC依赖的端口 PXC集群要使用四个端口，所以防火墙要放行这些端口 　　 firewall-cmd --zone=public --add-port= 3306 /tcp --permanent permanent：表示永久生效 firewall-cmd --reload #重启 关闭SELINUX：会干扰PXC运行，【vi /etc/selinux/config】 把配置文件中的SELINUX值修改为disabled，重启linux系统【reboot】 直接解压初始化方式 下载，选择Linux-Generic 解压安装包 tar -zxvf Percona-XtraDB-Cluster-5.7.23-rel23-31.31.1.Linux.x86_64.ssl101.tar.gz -C ~/app/ 重命名应用 cd ~/app/ mv Percona-XtraDB-Cluster-5.7.23-rel23-31.31.1.Linux.x86_64.ssl101/ pxc 创建data目录 mkdir data 修改【support-files/mysql.server】下的【basedir、datadir、lockdir、mysqld_pid_file_path】 basedir=/home