--- url: https://chenlj.top/md/middleware/rocketmq/rocketmq-install-2m-2s-sync.md --- # rocketmq 集群安装-2 主 2 从同步 ## 一、集群规划 namserver 集群 | 序号 | ip | host | | ------ | --------------- | ----- | | 节点 1 | 192.168.211.151 | node1 | | 节点 2 | 192.168.211.152 | node2 | broker 集群 | 序号 | ip | host | 角色 | | ------ | --------------- | ----- | ------- | | 节点 1 | 192.168.211.151 | node1 | master1 | | 节点 2 | 192.168.211.152 | node2 | slave1 | | 节点 3 | 192.168.211.153 | node3 | master2 | | 节点 4 | 192.168.211.154 | node4 | slave2 | ## 二、Host 配置 ```shell # 如果配置过就不需要再配置 echo '192.168.211.151 node1' >> /etc/hosts echo '192.168.211.152 node2' >> /etc/hosts echo '192.168.211.153 node3' >> /etc/hosts echo '192.168.211.154 node4' >> /etc/hosts systemctl restart network ``` ## 三、下载 ```shell # 下载rocketmq-华为镜像站下载 wget https://repo.huaweicloud.com/apache/rocketmq/4.9.1/rocketmq-all-4.9.1-bin-release.zip ``` ## 四、安装 ```shell # 解压 unzip rocketmq-all-4.9.1-bin-release.zip -d /usr/local # 修改文件夹名称 mv /usr/local/rocketmq-all-4.9.1-bin-release/ /usr/local/rocketmq # 日志目录 mkdir -p /usr/local/rocketmq/log # 消息目录 mkdir -p /usr/local/rocketmq/store mkdir -p /usr/local/rocketmq/store/commitlog mkdir -p /usr/local/rocketmq/store/consumequeue mkdir -p /usr/local/rocketmq/store/index ``` ## 五、配置、启动 ### 1、修改 nameserver 启动命令 ```shell vim /usr/local/rocketmq/bin/runserver.sh ``` ``` JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" # 把上面的配置修改为下面的配置 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" ``` ### 2、启动 nameserver ```shell # 按规划是node1和node2作为nameserver节点 nohup sh /usr/local/rocketmq/bin/mqnamesrv >/usr/local/rocketmq/log/nameserver.log 2>&1 & ``` ### 3、修改 broker 启动命令 ```shell vim /usr/local/rocketmq/bin/runbroker.sh ``` ``` JAVA_OPT="${JAVA_OPT} -server -Xms4G -Xmx4G" # 把上面的配置修改为下面的配置 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m" ``` ### 4、各节点增加不同的配置文件 （1）master1 ```shell cat >>/usr/local/rocketmq/conf/master1.properties <0 表示 Slave brokerId=0 #nameServer地址，分号分割 namesrvAddr=node1:9876;node2:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/rocketmq/store #commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 EOF ``` （2）slave1 ```shell cat >>/usr/local/rocketmq/conf/slave1.properties <0 表示 Slave brokerId=1 #nameServer地址，分号分割 namesrvAddr=node1:9876;node2:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/rocketmq/store #commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 EOF ``` （3）master2 ```shell cat >>/usr/local/rocketmq/conf/master2.properties <0 表示 Slave brokerId=0 #nameServer地址，分号分割 namesrvAddr=node1:9876;node2:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/rocketmq/store #commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 EOF ``` （4）slave2 ```shell cat >>/usr/local/rocketmq/conf/slave2.properties <0 表示 Slave brokerId=1 #nameServer地址，分号分割 namesrvAddr=node1:9876;node2:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/rocketmq/store #commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 EOF ``` ### 5、启动 broker （1）master1 ```shell nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/master1.properties >/usr/local/rocketmq/log/master1.log 2>&1 & ``` （1）slave1 ```shell nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/slave1.properties >/usr/local/rocketmq/log/slave1.log 2>&1 & ``` （1）master2 ```shell nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/master2.properties >/usr/local/rocketmq/log/master2.log 2>&1 & ``` （1）slave2 ```shell nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/slave2.properties >/usr/local/rocketmq/log/slave2.log 2>&1 & ``` ## 六、配置远程访问 ### 1、开启防火墙端口 ```shell firewall-cmd --zone=public --add-port=9876/tcp --permanent firewall-cmd --zone=public --add-port=10909/tcp --permanent firewall-cmd --zone=public --add-port=10911/tcp --permanent firewall-cmd --zone=public --add-port=10912/tcp --permanent firewall-cmd --reload ``` ## 七、设置开机自启 ```shell #待完善 ```