dogegg250的博客_Hadoop

hadoop使用笔记

最近用了一下hadoop,把一些咚咚记一下,免得以后忘了: 1. $HADOOP_HOME/bin/hadoop命令是个shell脚本如果想查看HDFS的文件内容,我们会运行$HADOOP_HOME/bin/hadoop fs -ls /,起初还以为$HADOOP_HOME/bin/hadoop是个二进制,还在迷惑这个二进制如何ru

职场

休闲

hadoop

转载 2012-03-24 23:23:42 1229 阅读

Hadoop java.net.NoRouteToHostException: No route to host

java.net.NoRouteToHostException: No route to host 解决方法： service iptables stop

职场

休闲

hadoop

转载精选 2012-03-24 19:52:23 1005 阅读

Text类序列化似乎有bug

@Override public void readFields(DataInput in) throws IOException { uid = in.readLong();

职场

bug

休闲

hadoop

原创 2012-02-22 23:59:14 1068 阅读 1评论

HBase跑 map/reduce 须关闭Speculative Execution

什么是Speculative Execution 所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任

职场

休闲

hadoop

Speculative Executio

转载 2012-02-19 08:51:18 1286 阅读

map/reduce执行流程

FileSplit:文件的子集--文件分割体简介：这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉，请先参阅MapReduce--http://labs.google.com/papers/mapreduce.html Map 由于Map是并行地对

职场

休闲

hadoop

转载精选 2012-02-11 11:50:09 1999 阅读

hadoop io Sequence, Map, Set, Array, BloomMap Files(译文)

hadoop 的 sequenceFile 文件为二进制的 K-V 对提供了可持久的数据结构。与其他的数据结构，像 B 树索引是有区别的， sequenceFile 不支持对特定的 key 进行修改，插入，删除操作，仅仅支持 append 操作

职场

休闲

hadoop

转载精选 2012-02-10 10:16:17 943 阅读

hbase条件查询

一、环境 HBase版本hbase-0.20.5，Hadoop的版本hadoop-0.20.2，JDK1.6 二、需求背景在HBase中，进行条件查询，很多的文件都说过，但是大多数都是在说明如何设置合理的表结构以及如何设置rowkey进行查询检索，这样的结构设计可以在一定层度上通过rowkey来定位查询（

职场

休闲

条件查询

hadoop

hbase

转载精选 2012-02-08 21:13:21 6554 阅读 1点赞 2评论

MapReduce程式调用第三方包和本地库

问题：在MP程式中如何在不同的TaskTracker节点上调用第三方jar包和读取一些只读的文件。解决方法介绍：我们知道，在Hadoop中有一个叫做DistributedCache的东东，它是用来分发应用特定的只读文件和一个jar包的，以供Map-Reduce框架在启动任务和运行的时候使用这些缓冲的文件或者是把第三方jar包添加到其classpath路径中去

职场

休闲

hadoop

转载精选 2012-02-07 17:19:27 727 阅读

hadoop中System.out.println输出

首先打开http://localhost:50030/jobtracker.jsp进入jobtracker，在Completed Jobs中选刚执行的job,再选对应的map或者reduce,进Task Logs下面的all，里面有stdout logs和stderr logs

职场

休闲

hadoop

println

原创 2012-02-07 16:58:25 1911 阅读

hbase伪分布式MasterNotRunningException

修改 etc/hosts 把localhost和自己的主机名的IP改为相同，即都是127.0.0.1

职场

休闲

hbase

MasterNotRunningExce

原创 2012-02-05 12:23:46 1097 阅读

Hadoop namenode无法启动

在 HADOOP_HOME/conf/ hadoop-env.sh 里面，修改配置如下： export HADOOP_PID_DIR=/home/hadoop/pids pid文件默认在/tmp目录下，而/tmp是会被系统定期清理的，所以Pid文件被删除后就no namenode to stop core-site.xml添加hado

职场

休闲

hadoop

namenode

原创 2012-02-03 20:30:58 1344 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

木又寸的技术博客

hadoop使用笔记

Hadoop java.net.NoRouteToHostException: No route to host

Text类序列化似乎有bug

HBase跑 map/reduce 须关闭Speculative Execution

map/reduce执行流程

hadoop io Sequence, Map, Set, Array, BloomMap Files(译文)

hbase条件查询

MapReduce程式调用第三方包和本地库

hadoop中System.out.println输出

hbase伪分布式MasterNotRunningException

Hadoop namenode无法启动