硬核干货！Redis分布式集群部署实战

硬核干货！Redis 分布式集群部署实战

作者：老A 2020-07-03 13:29:08

存储

存储软件

分布式

Redis Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽，对写入的数据进行哈希后分配到某个主节点进行存储。

成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站设计、成都做网站、外贸网站建设、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的兴城网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

本文转载自微信公众号「民工哥技术之路」，作者老A。转载本文请联系民工哥技术之路公众号。

原理：

Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽，对写入的数据进行哈希后分配到某个主节点进行存储。
集群使用公式(CRC16 key)& 16384计算键key数据那个槽。
16384个slot均匀分布在各个节点上。
集群中每个主节点将承担一部分槽点的维护，而槽点中存储着数据，每个主节点都有至少一个从节点用于高可用。

节点通信方式：

开启一个端口设置的端口号+10000，用于集群之间节点通信交换信息。
每个节点默认每秒10次选择随机5个节点发送ping消息，将自身信息和知道的集群信息传递，收到ping消息后返回pong消息做回复，最后通过这种随机的消息交换，最终每个节点将获得所有信息。
当某个主节点挂掉，所有节点将会发现主节点挂掉了，作为主节点的从节点，就会接替主节点的工作，然后告诉所有其它节点，他成为了主。这样其它存活节点，就将它们维护的信息表更新从节点将接任做主，如果都挂掉集群将报错。当从一个节点操作，根据一致性哈希计算后将存储在其中一个主节点中，从节点将同步主的数据。

redis cluster是去中心化的，集群中的每个节点都是平等的关系，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃。
搭建集群时，会为每一个分片的主节点，对应一个从节点。实现slaveof功能，同时当主节点down，实现sentinel哨兵的自动failover切换功能

Redis分布式集群(部署)：

端口号：7000-7005

本次分布式分片集群在一台LInux系统即可，只需要安装多个实例作为集群配置。

安装ruby环境支持：

  
 
 
 
   
  
  
  yum -y install ruby rubygems

yum安装2.0.0版本，但是gem需要2.2.2版本以上，所以选择编译

下载并安装ruby环境：

  
 
 
 
   
  
  
  wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz
   
  
  
  tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/
   
  
  
  ./configure --prefix=/usr/local/ruby
   
  
  
  make && make install && echo $?
   
  
  
  echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile
   
  
  
  source /etc/profile

修改gem工具国内源：

  
 
 
 
   
  
  
  # 查看gem工具源地址
   
  
  
  gem sources -l
   
  
  
  # 添加一个阿里云的gem工具源
   
  
  
  gem sources -a http://mirrors.aliyun.com/rubygems/
   
  
  
  # 删除gem工具默认国外源
   
  
  
  gem sources --remove https://rubygems.org/
   
  
  
  # 下载当前最新版本集群插件
   
  
  
  gem install redis -v 4.1.0

集群节点准备：

  
 
 
 
   
  
  
  mkdir /data/700{0..5}

配置7000端口实例：

  
 
 
 
   
  
  
  vim /data/7000/redis.conf
   
  
  
  port 7000
   
  
  
  daemonize yes
   
  
  
  pidfile /data/7000/redis.pid
   
  
  
  loglevel notice
   
  
  
  logfile "/data/7000/redis.log"
   
  
  
  dbfilename dump.rdb
   
  
  
  dir /data/7000
   
  
  
  protected-mode no
   
  
  
  cluster-enabled yes
   
  
  
  cluster-config-file nodes.conf
   
  
  
  cluster-node-timeout 5000
   
  
  
  appendonly yes

拷贝其他端口实例：

  
 
 
 
   
  
  
  # 拷贝配置文件
   
  
  
  cp /data/7000/redis.conf /data/7001/
   
  
  
  cp /data/7000/redis.conf /data/7002/
   
  
  
  cp /data/7000/redis.conf /data/7003/
   
  
  
  cp /data/7000/redis.conf /data/7004/
   
  
  
  cp /data/7000/redis.conf /data/7005/
   
  
  
  
   
  
  
  # 修改配置文件内容
   
  
  
  sed -i 's#7000#7001#g' /data/7001/redis.conf
   
  
  
  sed -i 's#7000#7002#g' /data/7002/redis.conf
   
  
  
  sed -i 's#7000#7003#g' /data/7003/redis.conf
   
  
  
  sed -i 's#7000#7004#g' /data/7004/redis.conf
   
  
  
  sed -i 's#7000#7005#g' /data/7005/redis.conf

启动所有实例：

  
 
 
 
   
  
  
  redis-server /data/7000/redis.conf
   
  
  
  redis-server /data/7001/redis.conf
   
  
  
  redis-server /data/7002/redis.conf
   
  
  
  redis-server /data/7003/redis.conf
   
  
  
  redis-server /data/7004/redis.conf
   
  
  
  redis-server /data/7005/redis.conf

创建命令软链接：

(这个命令过期了，现在使用redis-cli命令)(可选执行命令)

  
 
 
 
   
  
  
  ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/

查看进程：

  
 
 
 
   
  
  
  ps -ef |grep redis-server

加入所有实例节点到集群管理：

  
 
 
 
   
  
  
  # --replicas 1",1是代表每一个主有一个从,后面的是所有节点的地址与端口信息
   
  
  
  redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

分布式主从规则为，前三个实例节点是主，对应的后面三个实例节点为从节点，如果replicas 2，那就多加3个实例节点

查看主节点状态：

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep master

查看从节点状态：

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep slave

Redis-分布式集群(管理)

集群节点增加准备：

  
 
 
 
   
  
  
  mkdir /data/700{6..7}
   
  
  
  
   
  
  
  拷贝其他端口实例：
   
  
  
  
   
  
  
  # 拷贝配置文件
   
  
  
  cp /data/7000/redis.conf /data/7006/
   
  
  
  cp /data/7000/redis.conf /data/7007/
   
  
  
  
   
  
  
  # 修改配置文件内容
   
  
  
  sed -i 's#7000#7006#g' /data/7006/redis.conf
   
  
  
  sed -i 's#7000#7007#g' /data/7007/redis.conf

启动新节点实例：

  
 
 
 
   
  
  
  redis-server /data/7006/redis.conf
   
  
  
  redis-server /data/7007/redis.conf

查看进程：

  
 
 
 
   
  
  
  ps -ef |grep redis-server

添加主节点：(7000实例是管理节点)

  
 
 
 
   
  
  
  #'把7006实例添加到7000实例这个主节点所在集群内(此时已经有了4个主节点)
   
  
  
  redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000

查看主节点状态：

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep master

转移slot(重新分片)：

  
 
 
 
   
  
  
  #'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
   
  
  
  redis-cli --cluster reshard 127.0.0.1:7000
   
  
  
  
   
  
  
  How many slots do you want to move (from 1 to 16384)? 4096
   
  
  
  #通过人工手动计算数据分片总大小除以主节点后的数字
   
  
  
  
   
  
  
  What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953
   
  
  
  #选择接收数据分片的节点ID，（这是新增节点7006实例的ID号）
   
  
  
  
   
  
  
  Source node #1: all
   
  
  
  #选择从哪些源主节点重新分片给新主节点）（all是所有节点）
   
  
  
  
   
  
  
  Do you want to proceed with the proposed reshard plan (yes/no)? yes           
   
  
  
  #确认修改以上的操作

重新查看主节点状态：(可以看到集群数据的重新分片)

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep master

添加从节点：

  
 
 
 
   
  
  
  #'把7007实例节点添加到7006实例主节点内，并指定对应7006实例主节点坐在集群的管理节点
   
  
  
  redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953

查看从节点状态：

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep slave

集群节点删除准备：

移动要删除节点的数据分片：

  
 
 
 
   
  
  
  #'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
   
  
  
  redis-cli --cluster reshard 127.0.0.1:7000
   
  
  
  
   
  
  
  #方法是根据要删除master节点的分片位置，然后一个组分一个节点 ， 也可以直接移动所有数据片到一个节点
   
  
  
  
   
  
  
  How many slots do you want to move (from 1 to 16384)? 1365                    
   
  
  
  #通过人工手动查看数据分片总大小
   
  
  
  
   
  
  
  What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447
   
  
  
  #选择接收数据分片的节点ID，（这是新增节点7006实例的ID号）
   
  
  
  
   
  
  
  Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
   
  
  
  #选择从哪些源主节点重新分片给新主节点（这是要删除的主节点的ID号）
   
  
  
  
   
  
  
  Source node #2: done
   
  
  
  #这是结束命令
   
  
  
  
   
  
  
  Do you want to proceed with the proposed reshard plan (yes/no)? yes           
   
  
  
  #确认修改以上的操作

重新查看主节点状态：(可以看到集群数据的重新分片)

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep master

继续移动数据片：

  
 
 
 
   
  
  
  #'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
   
  
  
  redis-cli --cluster reshard 127.0.0.1:7000
   
  
  
  
   
  
  
  # 方法是根据要删除master节点的分片位置，然后一个组分一个节点 ， 也可以直接移动所有数据片到一个节点
   
  
  
  
   
  
  
  How many slots do you want to move (from 1 to 16384)? 1366                    #通过人工手动查看数据分片总大小
   
  
  
  
   
  
  
  What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c
   
  
  
  #选择接收数据分片的节点ID，（这是新增节点7006实例的ID号）
   
  
  
  
   
  
  
  Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
   
  
  
  #选择从哪些源主节点重新分片给新主节点（这是要删除的主节点的ID号）
   
  
  
  
   
  
  
  Source node #2: done
   
  
  
  #这是结束命令
   
  
  
  
   
  
  
  Do you want to proceed with the proposed reshard plan (yes/no)? yes           
   
  
  
  #确认修改以上的操作

重新查看主节点状态：(可以看到集群数据的重新分片)

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep master

最后一次移动数据片：

  
 
 
 
   
  
  
  #'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
   
  
  
  redis-cli --cluster reshard 127.0.0.1:7000
   
  
  
  
   
  
  
  #方法是根据要删除master节点的分片位置，然后一个组分一个节点 ， 也可以直接移动所有数据片到一个节点
   
  
  
  
   
  
  
  How many slots do you want to move (from 1 to 16384)? 1365                    
   
  
  
  #通过人工手动查看数据分片总大小
   
  
  
  
   
  
  
  What is the receiving node ID? 5a0df4ea0af5f35c1248e45e88d44c3f2e10169f
   
  
  
  Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
   
  
  
  Source node #2: done

重新查看主节点状态：(可以看到集群数据的重新分片)

  
 
 
 
   
  
  
  redis-cli -p 7000 cluster nodes|grep master

删除清空数据片的主节点：

  
 
 
 
   
  
  
  #'删除已经清空数据的7006实例
   
  
  
  redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953
   
  
  
  
   
  
  
  #删除没有主库的7007实例
   
  
  
  redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab

其他配置管理：

  
 
 
 
   
  
  
  内存信息查看
   
  
  
  redis-cli -p 6382 -a redhat info memory
   
  
  
  
   
  
  
  #设置最大只能使用100MB的内存
   
  
  
  redis-cli -p 6382 -a redhat config set maxmemory 102400000

当前名称：硬核干货！Redis分布式集群部署实战
网页地址：http://www.csdahua.cn/qtweb/news32/14332.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：快上网

成都快上网为您推荐相关内容