MySQL主从同步错误情况下的全量备份恢复

一个Web系统有一主两从的小型MySQL集群，通过Amoeba调度。近日发现主从之间的同步发生异常，从库无法更新数据。试了多种方法无法恢复后，决定重新建立从库数据。方法如下。

假设主库为server1，两个从库为server2和server3

主库server1的IP地址是192.168.0.2

从库server2的IP地址是192.168.0.3

从库server3的IP地址是192.168.0.4

一、停止Amoeba的主从调度，将所有数据库读写导向主库server1

进入Amoeba的conf目录，打开dbServers.xml文件

<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

		<!-- 
			Each dbServer needs to be configured into a Pool,
			If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
			 add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
			 such as 'multiPool' dbServer   
		-->
		
	<dbServer name="abstractServer" abstractive="true">
		<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
			<property name="connectionManager">${defaultManager}</property>
			<property name="sendBufferSize">640</property>
			<property name="receiveBufferSize">1280</property>
				
			<!-- mysql port -->
			<property name="port">3306</property>
			
			<!-- mysql schema -->
			<property name="schema">appdb</property>
			
			<!-- mysql user -->
			<property name="user">amoeba</property>
			
			<property name="password">moocsakai</property>
		</factoryConfig>

		<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
			<property name="maxActive">1200</property>
			<property name="maxIdle">500</property>
			<property name="minIdle">100</property>
			<property name="minEvictableIdleTimeMillis">600000</property>
			<property name="timeBetweenEvictionRunsMillis">600000</property>
			<property name="testOnBorrow">true</property>
			<property name="testOnReturn">true</property>
			<property name="testWhileIdle">true</property>
		</poolConfig>
	</dbServer>

	<dbServer name="server1"  parent="abstractServer">
		<factoryConfig>
			<!-- mysql ip -->
			<property name="ipAddress">192.168.0.2</property>
		</factoryConfig>
	</dbServer>
	
	<dbServer name="server2"  parent="abstractServer">
		<factoryConfig>
			<!-- mysql ip -->
			<property name="ipAddress">192.168.0.3</property>
		</factoryConfig>
	</dbServer>
			 
	<dbServer name="server3"  parent="abstractServer">
		<factoryConfig>
			<property name="ipAddress">192.168.0.4</property>
		</factoryConfig>
	</dbServer>
	
	<dbServer name="multiPool" virtual="true">
		<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
			<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
			<property name="loadbalance">1</property>
			
			<!-- Separated by commas,such as: server1,server2,server1 -->
			<property name="poolNames">server2,server3</property>
		</poolConfig>
	</dbServer>
		
</amoeba:dbServers>

定位到XML文件内容<dbServer name="multiPool" virtual="true">位置，将其中的server2,server3改为server1,server2后，保存xml文件，再进入Amoeba的bin目录使用如下命令重启amoeba

./shutdown
./launcher

经过这一步骤后，Amoeba将所有的读写请求定向到server1，server2和server3被旁路开了。

二、备份主库server1

进入server1，使用如下命令备份主库的日志到目录/mooc/databackup

innobackupex --user=root --password=abc /mooc/databackup/ -socket=/tmp/mysql.sock

备份成功后，会在目录/mooc/databackup下生成新的目录2016-07-15_12-29-39，其中包含了数据库中所有数据操作日志文件

三、全量恢复从库server2和server3。以server2为例，server3方法相同

1、拷贝主库的备份日志文件到从库某目录下，假设/moocmysql

scp -r /mooc/databackup/2016-07-15_12-29-39 root@server2:/moocmysql

2、登录到从库server2机器，将日志文件在从库恢复

innobackupex  --defaults-file=/etc/my.cnf  --apply-log /moocmysql/2016-07-15_12-29-39

3、停止从库服务器，并删除其中所有数据，假设server2的数据保存在/moocmysql/data目录下

service mysqld stop
rm -rf /moocmysql/data/*

4、全量恢复从库的数据到/moocmysql/data/

innobackupex --defaults-file=/etc/my.cnf --copy-back /mooc/databackup/2016-07-15_12-29-39

5、设置数据访问权限

chown -R mysql:mysql /moocmysql/data

6、启动mysql

service mysqld start

7、找到本次全量更新的新的同步点

cat /moocmysql/data/xtrabackup_binlog_pos_innodb

返回两个信息

master-bin.000297    248684412

8、进入mysql的控制台，设置新的同步点为这两个信息

停止slave

stop slave;

改变同步参数

change master to master_host='10.128.18.162',master_user='mooc2',master_password='moocsakai',master_log_file='master-bin.000297',master_log_pos=248684412;

启动slave

start slave

查看主从设置状态

show slave status\G;

看到信息Slave_IO_Running: Yes和Slave_SQL_Running: Yes就表示设置成功了。

四、恢复Amoeba的主从调度，修改dbServer.xml，定位到XML文件内容<dbServer name="multiPool" virtual="true">位置，将其中的server1,server1改回server2,server3后，保存xml文件，再进入Amoeba的bin目录使用如下命令重启amoeba