Redis Cluster

我怕爱的太早我们不能终老 提交于 2021-01-07 04:26:24

Redis Cluster介绍

Redis Cluster为Redis官方提供的一种分布式集群解决方案。它支持在线节点增加和减少。 集群中的节点角色可能是主,也可能是从,但需要保证每个主节点都要有对应的从节点, 这样保证了其高可用。

Redis Cluster采用了分布式系统的分片(分区)的思路,每个主节点为一个分片,这样也就意味着 存储的数据是分散在所有分片中的。当增加节点或删除主节点时,原存储在某个主节点中的数据 会自动再次分配到其他主节点。

如图,各节点间是相互通信的,通信端口为各节点Redis服务端口+10000,这个端口是固定的,所以注意防火墙设置, 节点之间通过二进制协议通信,这样的目的是减少带宽消耗。

在Redis Cluster中有一个概念slot,我们翻译为槽。Slot数量是固定的,为16384个。这些slot会均匀地分布到各个 节点上。另外Redis的键和值会根据hash算法存储在对应的slot中。简单讲,对于一个键值对,存的时候在哪里是通过 hash算法算出来的,那么取得时候也会算一下,知道值在哪个slot上。根据slot编号再到对应的节点上去取。

Redis Cluster无法保证数据的强一致性,这是因为当数据存储时,只要在主节点上存好了,就会告诉客户端存好了, 如果等所有从节点上都同步完再跟客户端确认,那么会有很大的延迟,这个对于客户端来讲是无法容忍的。所以, 最终Redis Cluster只好放弃了数据强一致性,而把性能放在了首位。

Redis Cluster搭建

Redis Cluster至少需要三个节点,即一主二从,本实验中我们使用6个节点搭建。

角色划分

主机名 IP:Port 角色
wangzb01 192.168.153.133:6379 Redis Master
wangzb02 192.168.153.134:6379 Redis Master
wangzb03 192.168.153.135:6379 Redis Master
wangzb01 192.168.153.133:6380 Redis slave
wangzb02 192.168.153.134:6380 Redis slave
wangzb03 192.168.153.135:6380 Redis slave

安装Redis

安装步骤参考前面的章节,其中配置文件示例如下:

bind 192.168.153.133
port 6379  
daemonize yes
pidfile /var/run/redis_6379.pid 
dir /var/redis_6379
appendonly yes 
#开启集群
cluster-enabled yes  
#集群的配置文件,首次启动会自动创建
cluster-config-file nodes-6379.conf  
#集群节点连接超时时间,15秒
cluster-node-timeout 15000 



部署Cluster

如果开启了firewalld,所有机器都需要增加如下规则:

firewall-cmd --permanent --add-port 6379-6380/tcp
firewall-cmd --permanent --add-port  16379-16380/tcp
firewall-cmd --reload



假设当前已经启动6个redis服务:

192.168.153.133:6379
192.168.153.133:6380
192.168.153.134:6379
192.168.153.134:6380
192.168.153.135:6379
192.168.153.135:6380



构建集群的命令为:

redis-cli --cluster create 192.168.153.133:6379 192.168.153.133:6380 192.168.153.134:6379 192.168.153.134:6380 192.168.153.135:6379 192.168.153.135:6380 --cluster-replicas 1



说明:--cluster-replicas 1表示每个主对应一个从。

连接集群

可以在任何一个节点上去连接集群:

redis-cli -c -h 192.168.153.134 -p 6380
> set k1 123
> set k2 'abc'
> get k1
> get k2
> keys *



说明:在创建key的过程中,它会把不同的key分配到不同的slot中,即使我们登录到了129:6380,但在写入数据时,它会选择其他节点。

管理集群

查看集群情况:

redis-cli  --cluster check 192.168.153.133:6379



在线迁移槽

redis-cli --cluster reshard 192.168.153.200:6001



选择一个目标节点的id 源选择all

平衡各节点槽数量

redis-cli --cluster rebalance --cluster-threshold 1 192.168.153.133:6379



删除集群节点

redis-cli --cluster del-node 192.168.153.134:6380 nodeid



这里必须是没有槽的节点,所以必须先移除槽,否则报错 被删除的node重启后,依然记得集群中的其它节点,这是需要执行cluster forget nodeid来忘记其它节点

添加集群节点

redis-cli --cluster add-node 192.168.153.134:6380 192.168.153.133:6379  #这样添加的节点为主
redis-cli --cluster add-node 192.168.153.134:6380 192.168.153.133:6379 --cluster-slave  # 这样添加的节点为从
redis-cli --cluster add-node 192.168.153.134:6380 192.168.153.133:6379 --cluster-slave --cluster-master-id 3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e #添加从并指定主



给添加的节点分配slot

redis-cli --cluster reshard 192.168.153.134:6379
How many slots do you want to move (from 1 to 16384)? #定义要分配多少slot
What is the receiving node ID? #定义接收slot的nodeid,即新的master id
Source node #1: #定义第一个源master的id,如果想在所有master上拿slot,直接敲all
Source node #2: #定义第二个源master的id,如果不再继续有新的源,直接敲done



将集群外部redis实例中的数据导入到集群中去

redis-cli --cluster import 192.168.153.135:6379 --cluster-from 192.168.222.200:6379 --cluster-copy



Cluster-from后面跟外部redis的ip和port 如果只使用cluster-copy,则要导入集群中的key不能在,否则如下: 如果集群中已有同样的key,如果需要替换,可以cluster-copy和cluster-replace联用,这样集群中的key就会被替换为外部的

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!