一次spark卡顿分析
转载在104上面执行,经常会发生卡到了如下一句话:
storage.BlockManagerInfo: Added broadcast_8_piece0
当再次卡顿的时候,我直接退出,然后通过yarn看后台的日志到底发生了什么,一看在这个地方频繁的爆出链接zookeeper失败;一看日志中的打出来的zookeeper的地址竟然只有127.0.0.1;
原来修改代码,直接copy官网的demo,HBase的config直接new,但是其实是应该通过
def getHBaseConfig() = {
val hbaseConfig = HBaseConfiguration.create()
hbaseConfig.set("hbase.zookeeper.property.clientPort", Config.HBase_ClientPort)
hbaseConfig.set("zookeeper.znode.parent", Config.HBase_Parent)
hbaseConfig.set("hbase.zookeeper.quorum", Config.HBase_Quorum)
hbaseConfig
}
来进行获取,来指定一些必要的信息,比如zookeeper的集群路径。
修改完毕后,问题消失。
对于可疑的过程,可以在发生的时候进行退出,然后查看聚合的日志,来分析原因。
本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
记一次服务器响应慢导致的网站卡顿问题
最近服务器调整, 也不知道运维侧操作了什么导致某个网站访问巨慢, 甚至502情况
Linux 响应慢 系统日志 服务器 web服务