巧克力黒的博客_Hadoop

【总结】遇到return code 2 from …….mr.MapRedTask. 怎么办

遇到return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask时，问题排查过程

Return Code 2

MapReduce

原创 2021-01-22 11:50:50 4825 阅读

【总结】Fair Scheduler

Fair Scheduler总结

Scheduler

Fair

原创 2017-11-07 15:50:03 4681 阅读 1点赞

【总结】hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点总结

总结hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点

Scheduler

Capacity

原创 2017-08-31 16:08:19 2947 阅读

【总结】一不小心的Map端数据倾斜

一个错误的InputFormat导致MR任务中一个map耗时特别长。TextInputFormat虽然能够处理lzo格式的文件，但是不能够像LzoTextInputFormat对数据进行分块计算。导致一个lzo文件所有数据都在一个map中处理。

map

Lzo

数据倾斜

原创 2017-07-28 14:11:13 10000+阅读 1收藏

【总结】Hadoop配置文件hdfs-site.xml

hadoop中hdfs-site.xml配置简单总结

xml

site

hdfs

原创 2016-09-01 21:55:15 10000+阅读 1点赞

【问题】spark运行python写的mapreduce任务，hadoop平台报错，java.net.ConnectException: 连接超时

spark运行python程序，造成hadoop集群某些节点的后台任务出错，经查找这些有问题节点防火墙设置有问题。并通过这个问题发现Python启动的Server，如果想要使client端连接，需要允许防火墙接受来自本地lo接口的数据包

python

spark

原创 2016-07-27 19:23:25 3677 阅读

【总结】HDFS源码之INode相关类

INode源码分析

INode

源码

原创 2016-06-24 15:43:16 2443 阅读

【总结】Hadoop配置文件core-site.xml

<property> <name>fs.defaultFS</name> <value>hdfs://ns1</value> <description>缺省文件服务的协议和NS逻辑名称，和hdfs-site里的对应此配置替代了1.0里的 fs.defaul

core

site

hadoop

原创 2016-04-16 17:31:27 3298 阅读

找不到org.apache.spark.streaming.flume.sink.SparkFlumeProtocol$Callback

flume spark 找不到类 org.apache.spark.streaming.flume.sink.SparkFlumeProtocol$Callback

spark

flume

原创 2016-01-21 19:08:55 2600 阅读

【总结】Hadoop中的MultipleOutputs实践

采用hadoop1.1.2版本，从实践中了解MultipleOutputs使用

MultipleOutputs Hado

原创 2015-04-27 17:41:54 1975 阅读

【总结】Hadoop中的Combiner实践

Combiner合并函数，减少map和reduce之间的数据传输。

job