本文转载自微信公众号《农民工的技术之路》，作者A。转载本文请联系农民工技术之路公众号。原理：Redis集群使用一致性哈希槽，为集群中的每个主节点分配一定的哈希槽，对写入的数据进行哈希处理，分配给一个主节点存储。集群使用公式(CRC16key)&16384来计算key数据的slot。16384个时隙均匀分布在每个节点上。集群中的每个主节点都会承担一部分slots的维护，数据存储在slots中，每个master节点至少有一个slave节点来实现高可用。节点通信方式：开启一个端口，设置端口号+10000，用于集群内节点间通信和交换信息。默认情况下，每个节点随机选择5个节点每秒发送10次ping报文，传输自身信息和已知集群信息。收到ping报文后，返回一个pong报文作为回复。最后，通过这种随机消息交换，每个节点将获得所有信息。当一个主节点挂掉后，所有节点都会发现主节点挂了，作为主节点的从节点会接管主节点的工作，然后告诉所有其他节点他已经成为主节点了。这样其他存活的节点就会更新自己维护的信息表，从节点接替主节点。如果都挂了，集群就会报错。从节点操作时，根据一致性哈希计算后存储到其中一个主节点，从节点同步主节点的数据。Redis集群是去中心化的，集群中的每个节点都是平等的关系，每个节点保存自己的数据和整个集群的状态。每个节点都连接到每个其他节点，并且这些连接保持活动状态。在构建集群时，每个分片的主节点对应一个从节点。实现slaveof功能，同时实现master节点宕机时哨兵sentinel的自动故障转移切换功能。Redis分布式集群（部署）：端口号：7000-7005。实例作为集群配置。安装ruby环境支持：yum-yinstallrubyrubygemsyum安装2.0.0版本，但是gem需要2.2.2以上版本，所以选择编译下载安装ruby环境：wgethttps://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gztarxfruby-2.6.1.tar.gz&&cdruby-2.6.1/./configure--prefix=/usr/local/rubymake&&makeinstall&&echo$?echo'exportPATH=$PATH:/usr/local/ruby/bin'>>/etc/profilesource/etc/profile修改gem工具的国内源：#查看gem工具的源地址gemsources-l#添加一个阿里云gem工具源gemsources-ahttp://mirrors.aliyun.com/rubygems/#删除gem工具默认国外源gemsources--去掉https://rubygems.org/#下载最新版集群插件geminstallredis-v4.1.0集群节点准备：mkdir/data/700{0..5}配置7000端口实例复制其他端口示例：#copy配置文件cp/data/7000/redis.conf/data/7001/cp/data/7000/redis.conf/data/7002/cp/data/7000/redis.conf/data/7003/cp/data/7000/redis.conf/data/7004/cp/data/7000/redis.conf/data/7005/#修改配置文件内容sed-i's#7000#7001#g'/data/7001/redis.confsed-i's#7000#7002#g'/data/7002/redis.confsed-i's#7000#7003#g'/data/7003/redis.confsed-i's#7000#7004#g'/data/7004/redis.confsed-i's#7000#7005#g'/data/7005/redis.conf启动所有实例：redis-server/data/7000/redis.confredis-server/data/7001/redis.confredis-server/data/7002/redis.confredis-server/data/7003/redis.confredis-server/data/7004/redis.confredis-server/data/7005/redis.conf创建命令软链接：（此命令已失效，现在使用redis-cli命令）（可选执行命令)ln-s/usr/local/redis-5.0.2/src/redis-trib.rb/usr/sbin/查看进程：ps-ef|grepredis-server将所有实例节点加入集群管理：#--replicas1”，1表示每个master有一个slave，后面是所有节点的地址和端口信息redis-cli--clustercreate--cluster-replicas1127.0.0.1:7000127.0.0.1:7001127.0.0.1:7002127.0.0.1:7003127.0。0.1:7004127.0.0.1:7005分布式主从规则是前三个实例节点为master，对应的后三个实例节点为slave节点。如果replicas为2，则再增加3个实例节点查看主节点状态：redis-cli-p7000clusternodes|grepmaster查看从节点状态：redis-cli-p7000clusternodes|grepslaveRedis-分布式集群（管理）集群节点增加准备：mkdir/数据a/700{6..7}复制其他端口实例：#复制配置文件cp/data/7000/redis.conf/data/7006/cp/data/7000/redis.conf/data/7007/#修改配置文件目录sed-i's#7000#7006#g'/data/7006/redis.confsed-i's#7000#7007#g'/data/7007/redis.conf启动一个新的节点实例：redis-server/data/7006/redis.confredis-server/data/7007/redis.conf查看进程：ps-ef|grepredis-server添加master节点：（7000实例为管理节点）#'将7006实例添加到7000的master节点所在的集群instance所在（这个已经有4个主节点）redis-cli--clusteradd-node127.0.0.1:7006127.0.0.1:7000查看主节点状态：redis-cli-p7000clusternodes|grepmaster转槽（重新sharding):#'operation重新分配集群管理节点，在交互界面指定分片大小，选择接收分片的节点IDredis-cli--clusterreshard127.0.0.1:7000交互界面。master节点后面的数字WhatisthereceivingnodeID?2129d28f0a86fc89571e49a59a0739812cff7953#选择接收数据分片的节点ID，（这个是新加入节点7006实例的ID号）sourcenode#1:all#选择从哪个源master节点重新接收-fragmenttothenewmasternode)(allisallnodes)Doyouwanttoproceedwiththeproposedreshardplan(yes/no)?yes#确认并修改以上操作，重新查看master节点的状态：（可以看到cluster的re-shardingdata)redis-cli-p7000clusternodes|grepmasterAddslavenode:#'将7007实例节点添加到7006实例主节点，并指定对应的7006实例主节点坐上集群的管理节点redis-cli--clusteradd-不de127.0.0.1:7007127.0.0.1:7000--cluster-slave--cluster-master-id2129d28f0a86fc89571e49a59a0739812cff7953查看slave节点状态：redis-cli-p7000clusternodes|grepslave集群节点删除准备：移动待删除节点的数据分片:#'操作集群管理节点重新分配，并在交互界面指定分片大小，选择节点IDredis-cli--clusterreshard127.0.0.1:7000接收分片#方法是根据分片需要删除的master节点的位置，然后a创建一个节点，或者直接把所有的数据分片移动到一个节点上Howmanslotsdoyouwanttomove(from1to16384)?1365#手动查看数据分片的总大小WhatisthereceivingnodeID?e64f9074a3733fff7baa9a4848190e56831d5447#选择接收的节点IDdataslices,(这个是新节点7006实例的ID号)Sourcenode#1:2129d28f0a86fc89571e49a59a0739812cff7953#选择从哪些源master节点reshard到新的master节点(这个是待删除master节点的ID号）sourcenode#2:done#这是结束命令Doyouwanttoproceedwiththeproposedreshardplan(yes/no)?yes#确认修改以上操作，重新查看master节点状态：（你可以看到集群数据重新分片）redis-cli-p7000clusternodes|grepmaster继续移动数据分片：#'操作集群管理节点重新分配，并在交互界面指定分片大小，以及选择节点IDredis-cli--clusterreshard127.0.0.1:7000接收分片。方法是根据要删除的master节点的分片位置，然后也可以直接将一个组件一个节点的所有数据分片移动到一个节点上howmanslotsdoyouwanttomove(from1to16384)?1366#手动查看数据分片总大小WhatisthereceivingnodeID?f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c#ChoosetheIDofthenodetoreceivedatafragmentation,(thisistheIDnumberofthenewlyaddednode7006instance)Sourcenode#1:2129d28f0a86fc89571e49a59a0739812cff7953#Choosefromwhichsourcemasternodestore-fragmenttothenewmasternode(thisisthemasternodetobedeletedIDnumber)Sourcenode#2:done#ThisistheendcommandDoyouwanttoproceedwiththeproposedreshardplan(yes/no)?yes#Confirmandmodifytheaboveoperationstocheckthemasternodestatusagain:(youcanseethere-shardingofclusterdata)redis-cli-p7000clusternodes|grepmastermovedthedatapiecelasttime:#'Operatetheclustermanagementnodetore-allocate,andspecifythesizeofthepieceintheinteractiveinterface,andselectthenodeIDredis-cli--clusterreshard127.0.0.1:7000toreceivethepiece#Themethodistodeletemaster节点的分片位置，然后一个组分一个节点，也可以直接移动所有数据片到一个节点Howmanyslotsdoyouwanttomove(from1to16384)?1365#通过人工手动查看数据分片总大小WhatisthereceivingnodeID?5a0df4ea0af5f35c1248e45e88d44c3f2e10169fSourcenode#1:2129d28f0a86fc89571e49a59a0739812cff7953Sourcenode#2:doneReviewthestatusofthemasternode:(Youcanseethere-shardingoftheclusterdata)redis-cli-p7000clusternodes|grepmasterDeletethemasternodethatclearsthedataslice:#'Deletethe7006instancethathasclearedthedataredis-cli--clusterdel-node127.0.0.1:70062129d28f0a86fc89571e49a59a0739812cff7953#删除没有主库的7007实例redis-cli--clusterdel-node127.0.0.1:7007821bcf78c5e4c0b08aa7a5d514214b657ebec4ab其他配置管理：内存信息查看redis-cli-p6382-aredhatinfomemory#设置最大只能使用100MB的memoryredis-cli-p6382-aredhatconfigsetmaxmemory102400000
