环境介绍:
1:机器三台 ,IP/hostname 如下, hostname的设置很重要zookeeper / codis的通信都会用到,所以要配置好三台机器的hosts文件.
10.221.8.220 机器的hostname为 Redis1
10.221.8.221 机器的hostname为 Redis2
10.221.8.222 机器的hostname为 Redis3
三台机器的/etc/hosts 文件添加如下解析
10.221.8.220 Redis1
10.221.8.1.221 Redis2
10.221.8.1.222 Redis3
2: 三台机器的系统都是centos 6.5 已经安装基本服务.
yum -y install gcc gcc-c++ make glibc glibc-devel glib2 glib2-devel patch autoconf automake（安装基本编译工具）
yum -y install ntp wget unzip vixie-cron ntsysv openssh-clients sysstat irqbalance subversion（安装常用系统软件，按需）
yum update -y （更新软件包）
3:使用三台机器做codis集群的服务部署如图:
服务的部署
第一步: zookeeper的安装
zookeeper的安装请参考 http://my.oschina.net/denglz/blog/503912
注意: 三台机器上的zookeeper都已启动
第二步:golang环境的部署
1: 下载golang
wget https://storage.googleapis.com/golang/go1.4.1.linux-amd64.tar.gz
2: 解压go1.4.1.linux-amd64.tar.gz移动go目录到/usr/local/ 目录下.
3:进入 /usr/local/go/src 目录执行下面的命令
bash all.bash
4:配置golang的环境变量, 修改/etc/profile (我的jdk与golang的环境变量如下)
ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6
GOROOT=/usr/local/go
JAVA_HOME=/usr/local/jdk1.8
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export GOPATH=/usr/local/codis
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin
5:下载codis
go get github.com/wandoulabs/codis
如果报错: go: missing Git command. See http://golang.org/s/gogetcmd
安装git即可解决: yum install git
第三步:codis的部署域服务的启动
1:codis的安装与配置
cd /usr/local/codis/src/github.com/wandoulabs/codis
执行 bootstrap.sh脚本进行codis的安装 (需要等一下)
sh bootstrap.sh
安装结束后会在 codis/bin 文件夹生成 codis-config, codis-proxy 两个可执行文件, (另外, bin/assets 文件夹是 codis-config 的 dashboard http 服务需要的前端资源, 需要和 codis-config 放置在同一文件夹下)
mkdir -p /usr/local/codis/{logs,conf,scripts} #log目录存放日志,conf 目录存放codis-server的配置文件与config.ini配置文件,scripts目录存放codis服务的启动脚本.
cp -rf bin /usr/local/codis/ #bin目录里面是一些可执行文件与dashboard http 服务需要的前端资源.
cp config.ini /usr/local/codis/conf/ #config.ini 是codis的配置文件
cp ./extern/redis-test/conf/6379.conf /usr/local/codis/conf/ #6379.conf 是codis-server的配置文件
修改config.ini文件,修改好的config.ini文件内容如下
[root@Redis1 codis]# cat bin/config.ini | grep -v "^#" | grep -v "^$"
coordinator=zookeeper
zk=10.221.8.220:2181,10.221.8.221:2181,10.221.8.222:2181 #三台机器的zookeeper的ip域端口
product=codis
dashboard_addr=10.221.8.220:18087 #codis 架构中提供web操作界面服务的机器的ip与端口,(Redis1中的redis-config服务提供的web操作界面)所以是Redis1机器的ip
password=
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=1024
zk_session_timeout=30
proxy_id=Redis1_proxy #codis启动代理服务的代理ID,这个代理id不能与其他机器的代理id一样.
net_timeout=5
2:创建脚本启动codis服务的启动
创建 codis web操作界面的启动脚本(只需要在Redis1 机器上创建这个脚本,因为dashboard http 服务只在这个机器上启动)
[root@Redis1 codis]# vi /usr/local/codis/scripts/start_dashboard.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &
创建slots的初始化脚本(只需要在Redis1 机器上创建这个脚本,因为codis的slot只需要初始化一次)
[root@RedisA codis]# vi /usr/local/codis/scripts/initslot.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "slots initializing..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f
echo "done"
创建codis-proxy的启动脚本 (只需在Redis2和Redis3上面创建这个脚本,因为codis-proxy服务只在这两个机器上启动)
注意: 在Redis3上把下面脚本里面的Redis2全部改成Redis3.这个代理id是在各个机器codis的config.ini文件里面配置的
注意:运行服务之前先创建proxy的日志文件,不然会报错. touch /usr/local/codis/logs/Redis2_proxy.log
vi /usr/local/codis/scripts/start_proxy.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "shut down Redis2_proxy..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline Redis2_proxy
echo "done"
echo "start new Redis2_proxy..."
nohup $CODIS_HOME/bin/codis-proxy --log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/Redis2_proxy.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &
echo "done"
echo "sleep 3s"
sleep 3
tail -n 30 $CODIS_HOME/logs/Redis2_proxy.log
修改Redis2和Redis3的codis-server的配置文件 /usr/local/codis/conf/6379.conf (我修改了三个地方,可以安装自己的需要修改)
logfile "/usr/local/codis/logs/codis_server.log"
dir /usr/local/codis/data
maxmemory 1G
按照上面的服务部署如图来启动机器上启动
Redis1 上需要运行的服务:
sh /usr/local/codis/scripts/start_dashboard.sh
sh /usr/local/codis/scripts/initslot.sh (这个初始化slot的脚本在哪台机器执行都可以我就放到Redis1上执行了,)
Redis1 上面需要启动一个codis-server的HA服务,用来自动切换codis-server的主从.这一步放到后面这里先不实现.
Redis2 上需要运行的服务:
sh /usr/local/codis/scripts/start_proxy.sh
/usr/local/codis/bin/codis-server /usr/local/codis/conf/6379.conf &
Redis3 上需要运行的服务:
sh /usr/local/codis/scripts/start_proxy.sh
/usr/local/codis/bin/codis-server /usr/local/codis/conf/6379.conf &
codis 的 HA (codisHA只需要在Redis1上部署)
codis的HA 分为 codis-prosy层的 HA 和 codis-server成的 HA
codis-server 层的HA的实现:
获取codis-server HA .
go get github.com/ngaut/codis-ha
编译codis-server HA
cd /data/go/src/github.com/ngaut/codis-ha
go build
移动编译后的codis-ha文件到 /usr/local/codis/bin
cp codis-ha /usr/local/codis/bin
codis-server HA 的启动方法
codis-ha --codis-config=dashboard地址:18087 --productName=集群项目名称
codis-ha 启动以后 ,任何一个组里面的codis-server master 挂掉以后,都会自动切换一个slave为master.
codis-proxy 层的HA的实现:
proxy本身是无状态的，所以proxy本身的HA是比较好做的，因为连接到任何一个活着的proxy上都是一样的，我们可以使用LVS和HA Proxy来做负载均衡.
豌豆荚针对java客户端开发了一个jodis, jodis是jedis的一个连接池，很简单，就是监听zk上面的存活proxy列表，挨个返回jedis对象，达到负载均衡和HA的效果.
使用joids需要从zookeeper获取存活的proxy列表,所以需要配置zookeeper的IP与端口. zookeeper的ip:端口是可以配置多个的,使用逗号隔开就可以了..这样整个架构就没有单点问题了...
具体的链接代码：
JedisResourcePool jedisPool = new RoundRobinJedisPool("Redis1:2181,Redis2:2181,Redis3:2181", 30000, "/zk/codis/db_codis/proxy", new JedisPoolConfig());
try (Jedis jedis = jedisPool.getResource()) {
jedis.set("foo", "bar");
String value = jedis.get("foo");
System.out.println(value);
}
}
注释：
"Redis1:2181,Redis2:2181,Redis3:2181" #zookeeper主机的hostname与zookeeper服务开启的客户端链接端口，多个zookeeper主机之间用逗号分割，这样就解决了单点问题。
30000 #超时时间的设定
"/zk/codis/db_codis/proxy" #zookeeper中存储 codis代理的位置。
Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑
http://database.51cto.com/art/201507/483314_all.htm
codis 与 zookeeper 所在服务器重启需要做的一些事情?
删除fence节点下的所有内容
delete /zk/codis/db_redis/fence
删除 dashboard 节点
delete /zk/codis/db_redis/dashboard
然后在启动codis的各个服务
来源：oschina
链接：https://my.oschina.net/u/734134/blog/505442