日志收集系统之redis高可用集群搭建

为了搭建日志收集系统LEK，需要搭建一套Redis高可用集群，确保日志正常从各个应用服务器流转到ElasticSeach服务器，最终通过Kabana显示出来。Redis高可用集群采用redis自带的sentinel实现，具有主备和故障转移功能。

一、安装环境说明

两台机器：master(192.168.2.52),slave(192.168.2.53)
操作系统：CentOS 6.5
Redis：2.8.17，下载地址：http://download.redis.io/releases/redis-2.8.17.tar.gz

二、安装Redis

安装前准备

1、安装c++编译器
yum install gcc-c++

2、安装依赖tcl
yum install -y tcl
安装

1、下载
wget http://download.redis.io/releases/redis-2.8.17.tar.gz

2、解压
tar -zxvf redis-2.8.17.tar.gz

3、安装
先创建一个软链接，然后进入链接目录，安装。
```
ln -s redis-2.8.17 redis
cd redis
make install
```
安装完成之后，在/usr/local/bin目录下会出现redis相关的脚本文件（不包含redis-sentinel.sh）。如下图所示：
配置

1、创建相关目录

redis配置需要指定日志文件、进程id文件、数据文件和数据文件目录，下面创建这些相关目录，以便在下一步进行配置。
```
mkdir /var/redis
cd /var/redis
mkdir log #存放日志
mkdir run #存放redis进程文件
mkdir data #存放备份数据
```
此外，还需要创建一个存放配置文件的目录，将redis链接目录中的redis.conf文件拷贝过来。
```
mkdir /etc/redis
cp YOURPATH/redis/redis.conf /etc/redis/
```
2、配置文件

通常需要修改一下配置：
```
daemonize yes
pidfile "/var/redis/run/redis.pid"
logfile "/var/redis/log/redis.log"
dir "/var/redis/data"
dir "/var/redis/data" #这个可以自己定义大小
```
测试

启动redis服务 redis-server /etc/redis/redis.conf
执行简单的存取操作，如果成功，则表示redis服务正常。如下图所示

复制安装
按照上述步骤，在slave机器上安装好redis服务，redis主备和高可用至少需要两台机器。

三、Redis主备

前提
master和slave两台机器均已完成Redis安装，且服务可以正常运转。
主备配置
redis的主备配置比较简单，只需要在从服务的配置文件中指明主服务地址和端口号即可。即修改slave上的redis配置文件：
slaveof 192.168.2.52 6379
测试
依次重启redis master，redis slave，在master和slave分别执行如下命令，可以查看主备信息。
```
#在master上执行
redis-cli -h 192.168.2.52 -p 6379 info Replication

#在slave上执行
redis-cli -h 192.168.2.53 -p 6379 info Replication
```
此外还可以进行存取测试，在master上执行set操作，在slave上执行get操作，如果value相等，则证明主备功能正常。因为默认 slave是只读，所以当在slave上执行set操作时，将报错：(error) ERR wrong number of arguments for 'set' command

四、Redis高可用

redis高可用的实现采用redis-sentinel，自Redis2.8版开始，正式提名为Sentinel主从切换方案。Sentinel用于管理多个Redis服务器实例，主要负责3个方面的任务：

监控（Monitoring）：Sentinel会不断检测你的主服务器和从服务器是否正常运作
提醒（Notification）：当被监控的某个Redis服务器出现问题时，Sentinel可以通过API向管理员或者其他应用程序发送通知
自动故障转移（Automatic Failover）：当一个主服务器不能正常工作时， Sentinel 会开始一次自动故障迁移操作，它会将失效主服务器的其中一个从服务器升级为新的主服务器，并让失效主服务器的其他从服务器改为复制新的主服务器；当客户端试图连接失效的主服务器时，集群也会向客户端返回新主服务器的地址，使得集群可以使用新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统，你可以在一个架构中运行多个 Sentinel 进程（progress），这些进程使用流言协议（gossip protocols)来接收关于主服务器是否下线的信息，并使用投票协议（agreement protocols）来决定是否执行自动故障迁移，以及选择哪个从服务器作为新的主服务器。

Redis-sentinel配置

拷贝sentinel的脚本至/usr/local/bin目录 cp src/redis-sentinel /usr/local/bin;

拷贝配置文件sentinel.conf至/etc/redis目录cp sentinel.conf /etc/redis，修改配置文件：

port 26379

# master1
sentinel monitor master1 192.168.2.52 6379 1
sentinel down-after-milliseconds master1 5000
sentinel failover-timeout master1 900000
sentinel parallel-syncs master1 1