从这篇开始记录一下集群迁移的事情早先因为机房没地方,就已经开始规划集群搬机房的事情,最近终于开始动手了,我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大,几百台,总容量30PB左右。Hadoop使用CDH加一些自定义patch的rpm打包编译版本。总的方案是集群不停机,在两个机房之间架设专线,旧机房decommission,拉到新机房recomm
最近做集群机房迁移,在旧机房和新机房之间接了根专线,做集群不停机搬迁,也就是跨机房,同时要新加百多台服务器,遇到几个问题,记录一下。旧集群的机器是centos 6, 新机房加的机器是centos 7。一、丢包问题在跨机房的时候,datanode显示很多Slow BlockReceiver的日志WARN org.apache.hadoop.hdfs.server.datanod
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号