http://blog.sina.com.cn/s/blog_5ccc692d0101pikf.html

 

学习hadoop2.2.0，远程调试hadoop源码

 

note: 只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决.



1 把编译好的hadoop源代码导入eclipse



  

hadoop2.2.0 <wbr>源码远程调试



 



2 如果要调试hdfs，修改~/hadoop-2.2.0/bin/hdfs



  elif [ "$COMMAND" = "dfs" ] ; then



  CLASS=org.apache.hadoop.fs.FsShell



  HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=6666,server=y,suspend=y"



  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"



 



  监听设置在这个位置，suspend=y，就是说操作dfs命令时候会挂起在6666端口，进程会暂停，直到有客户端来连接这个端口，比如eclipse远程调试。



  

hadoop2.2.0 <wbr>源码远程调试



 



 



3 eclipse打开远程调试



  

hadoop2.2.0 <wbr>源码远程调试



 



hadoop2.2.0 <wbr>源码远程调试




4 要调试其他功能，根据脚本来设置监听即可



5 如果调试自己写的mapreduce（伪分布式，mapreduce采用local方式，保证使用单个jvm情况下，否则会有静听端口冲突），修改~/hadoop-2.2.0/bin/hadoop



   #exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"



   exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=54321,server=y,suspend=n $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"



   修改~/hadoop-2.2.0/etc/hadoop/mapred-site.xml为local模式



   

hadoop2.2.0 <wbr>源码远程调试



执行hadoop jar ***.jar classname param...



即可进入远程debug模式。