HDFS Federation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1) 首先说下org.apache.hadoop.hdfs.server.
线上某个hive job运行失败,报错如下 Container [pid=28474,containerID=container_1411897705890_0181_01_000012] is running bey
最近研究了下NameNode HA Automatic Failover方面的东西，当Active NN因为异常或其他原因不能正常提供服务时，处于Standby状态的NN就可以自动切换为Active状态，从而到达真正的高可用 NN HA Automatic Failover架构图 &
目前我们会把MapReduce Job运行完成后的Task运行的相关信息(status,cpu_time等)记录到后台DB中，监控系统会根据DB中记录的Task运行的相关信息，自动化预警。这些信息主要是从Job运行完成之后产生的相关historyFile中提取出来的。由于已经升级到Yarn，MRv2和MRv1在historyFile的处理上还是有些不
线上集群目前使用的hadoop版本是CDH4.3.0,已经发生过两次jt的oom异常了，严重影响了线上作业的运行。刚开始的时候，通过减小retirejob的cacheSize和interval来减小jt的堆内存占用，起到了一定的效果，但其实也就是延长了jt宕掉的时间，感觉应该是jt本身垃圾回收存在一些问题。 &nbs
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
