一、概述

    Ha,已经有两个月没有更新blog了。由于近排公司需要引入Spark相关技术,我也是作为技术攻关人员之一,在这段时间使用Spark遇到了挺多问题,跌的坑也比较多,这篇blog主要总结一下这段时间使用Spark遇到的一些问题。

二、遇到的"坑"和爬坑思路

1、SparkSql on yarn-client模式遇到找不到mysql驱动包问题。

解决方案:这个比较简单直接编辑$SPARK_HOME/conf/spark-env.sh文件,将mysql的驱动jarexport进去,如:

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/hadoop/hadoop/spark-1.2.0-bin-hadoop2.4/lib/mysql-connector-java-5.1.7-bin.jar:/home/hadoop/hadoop/hadoop-2.5.0/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar


里边我同时也将lzo的jar包也export进去了,是因为我需要在spark中使用lzo的压缩输入格式,对于这个lzo的jar包需要注意下,这个jar包是需要自己在装好了lzo本地库之后,自己编译出来的。


2、SparkSql on yarn-cluster模式遇到找不到datanucleus相关jar包,具体错误信息看下面:

Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
 at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1412)
 at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:62)
 at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:72)
 at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2453)
 at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2465)
 at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:340)
 ... 7 more
Caused by: java.lang.reflect.InvocationTargetException
 at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
 at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
 at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
 at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
 at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1410)
 ... 12 more
Caused by: javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found.
NestedThrowables:
java.lang.ClassNotFoundException: org.datanucleus.api.jdo.JDOPersistenceManagerFactory
 at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1175)
 at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)
 at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)
 at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:310)
 at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:339)
 at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:248)
 at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:223)
 at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
 at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
 at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:58)
 at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:67)
 at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:497)
 at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:475)
 at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:523)
 at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:397)
 at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.<init>(HiveMetaStore.java:356)
 at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:54)
 at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:59)
 at org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4944)
 at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:171)
 ... 17 more
Caused by: java.lang.ClassNotFoundException: org.datanucleus.api.jdo.JDOPersistenceManagerFactory
 at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
 at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
 at java.security.AccessController.doPrivileged(Native Method)
 at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
 at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
 at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
 at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
 at java.lang.Class.forName0(Native Method)
 at java.lang.Class.forName(Class.java:270)
 at javax.jdo.JDOHelper$18.run(JDOHelper.java:2018)
 at javax.jdo.JDOHelper$18.run(JDOHelper.java:2016)
 at java.security.AccessController.doPrivileged(Native Method)
 at javax.jdo.JDOHelper.forName(JDOHelper.java:2015)
 at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1162)
 ... 36 more


解决方案:这个问题相当坑爹,个人感觉完全是个bug来的。像这种jar应该是在$SPARK_HOME/bin/compute-classpath.sh计算出来然后export进去的,看看comput-classpath.sh的相关shell代码(从97行往下看,spark版本为1.2):

wKiom1SiUOvymbCIAAmuyMbxwOs146.jpg

很遗憾,在sparkSql on yarn-cluster模式这个脚本无法$SPARK_HOME/lib下的datanucleus相关包export进去。经过几番折腾,翻了一遍spark在github上的Pull request终于找到了解决方案:在提交启动sparkSql cli的时候使用--jar将相关datanucleus的jar包export进去就ok了,看命令:

spark-sql --master yarn-cluster \
 --jars /data1/app/spark-1.2.0-bin-hadoop2.4/lib/datanucleus-api-jdo-3.2.6.jar,/data1/app/spark-1.2.0-bin-hadoop2.4/lib/datanucleus-core-3.2.10.jar,/data1/app/spark-1.2.0-bin-hadoop2.4/lib/datanucleus-rdbms-3.2.9.jar,/data1/app/spark-1.2.0-bin-hadoop2.4/lib/mysql-connector-java-5.1.7-bin.jar  \
--driver-memory 4G  --executor-cores 32 --queue spark  --executor-memory 70G  --num-executors 7  -e "use test1;
select count(*) from st_pc_lifecycle_list tb2 left outer join
(select ip,count(*) from st_pc_lifecycle_list where dt='2014-07-16' group by ip) tb1 on(tb1.ip=tb2.ip) where tb2.dt>='2014-11-20'  limit 10;"


3、使用spark-sql on yarn-cluster模式无法连接到hive-site.xml指定的metaStore,use 相关database时候出现找不到库错误。这个问题又是相当隐蔽的问题,刚刚排查的时候也是比较困难的。

详细错误信息:

wKioL1SiVVuA-AGCAAorFbyZ1qY907.jpg解决问题思路:

(1)我们观察这个错误,可能会隐隐约约想,这个我明显是连接上了metastore,那么为什么还找不到metastore里边的库啊??呵呵,我当时也是相当郁闷,直到我看到了这么一条提示:metastore.MetaStoreDirectSql: MySQL check failed(上面的错误截图没有截出来),这样我就知道了在计算节点启动的Dirver并没有正常的连接到hive-site.xml指定的metaStore。那么既然driver没有连接上hive-site.xml指定的metaStore,那么为什么看dirver的日志显示的确实可以连接上metaStore,只是无法连接到相应的库的?这下要搜源码了,直接在源码搜索"hive-site.xml",然后在sql-programming-guide.md中看到了这么一段提示信息:

wKioL1SiXA_h__BHAARuw6oGFTw303.jpg

或者再看HiveContext代码:

wKioL1SiXeXwGdr2AAO7lxCG4Tc908.jpg

哈哈,这么一看听明白了:就算用户不指定hive-site.xml文件,也会建立一个默认的hiveContext的,这样说的话在这个hiveContext中肯定是找不到hive-site.xml指定的库了。现在的问题转化成为计算节点上的Dirver找不到hive-site.xml了。启动作业时使用--driver-class-path,--jar,--drier-library-path指定hive-site.xml位置都不管用。直到看到Dirver界面的classpath才有些顿悟:

wKioL1SiXq-hTm13AANOtoIIKsc323.jpg

既然hadoop的conf path已经被export到了classpath中,为何不试试将hive-site.xml丢到hadoop的conf路径试试呢,哈哈试了果然ok,了可以正在连接hive-site.xml指定的ip了(要将hive-site.xml丢到所有计算节点的配置文件夹中,因为Driver可能随机到任何一个计算节点)。呵呵,找不到hive-site.xml的问题已经解决了,但是还是连接不上metaStore,已经卡在连接阶段。哈哈这个比较好解决:在hive-site.xml中将hive.metastore.uris配置上就ok了,给大家个参考:

<property>
        <name>hive.metastore.uris</name>
                <value>thrift://10.1.80.40:9083</value>
          <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
<property>
        <name>hive.server2.thrift.min.worker.threads</name>
        <value>5</value>
        <description>Minimum number of Thrift worker threads</description>
</property>
<property>
        <name>hive.server2.thrift.max.worker.threads</name>
        <value>500</value>
        <description>Maximum number of Thrift worker threads</description>
</property>
<property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
        <description>Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>
</property>
<property>
        <name>hive.server2.thrift.bind.host</name>
        <value>slave8040</value>
        <description>Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST</description>
</property>
<property>
        <name>hive.server2.enable.doAs</name>
        <value>true</value>
</property>
<property>
  <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
 </property>
<property>
  <name>hive.metastore.local</name>
  <value>hive.metastore.local</value>
  <description>location of default database for the warehouse</description>
</property>

配置好了metaStore的uri后,不要忘记了重要的一步,就是启动metaStore服务:进入$HIVE_HOME/bin,运行nohup ./hive --server metastore &

启动完之后看看端口是否正常:

[hadoop@slave8040 conf]$ jps 
23158 SparkSubmitDriverBootstrapper 
23510 SparkSubmit 
4442 Jps 
9866 RunJar 
[hadoop@slave8040 conf]$ ps -ef | grep 9866 
hadoop 4504 14107 0 16:25 pts/0 00:00:00 grep 9866 
hadoop 9866 1 0 Dec27 ? 00:01:54 /usr/local/jdk1.7.0_51/bin/java -Xmx3072m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/data2/hadoop/logs/hadoop -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/home/hadoop/hadoop/hadoop-2.5.0 -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,console -Djava.library.path=/home/hadoop/hadoop/hadoop-2.5.0/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx2048m -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /home/hadoop/hadoop/apache-hive-0.13.1-bin/lib/hive-service-0.13.1.jar org.apache.hadoop.hive.metastore.HiveMetaStore 
[hadoop@slave8040 conf]$ netstat -antp| grep 9866 
(Not all processes could be identified, non-owned process info 
will not be shown, you would have to be root to see it all.) 
tcp 0 0 0.0.0.0:9083 0.0.0.0:* LISTEN 9866/java 
tcp 0 0 10.1.80.40:47635 10.1.80.40:3306 ESTABLISHED 9866/java 
tcp 0 0 10.1.80.40:47591 10.1.80.40:3306 ESTABLISHED 9866/java 
tcp 0 0 10.1.80.40:47636 10.1.80.40:3306 ESTABLISHED 9866/java 
tcp 0 0 10.1.80.40:9083 10.1.80.40:51365 ESTABLISHED 9866/java 
tcp 0 0 10.1.80.40:47590 10.1.80.40:3306 ESTABLISHED 9866/java 
tcp 0 0 10.1.80.40:9083 10.1.80.40:51367 ESTABLISHED 9866/java

再次spark-sql on yarn-cluster模式完全ok。

吐槽下:spark还有挺多不完善的东西,小bug挺多,还有官方相关文档不全,像那个配置文档也只是部分配置项的,这个希望以后可以继续完善。不过spark的版本更新速度相当快,还有在github上的提问获得的回答想相当快,这个不错。哈哈,Spark的社区交流还是相当活跃的,呵呵继续爬坑。

4、最后一个坑,持久代OOM问题。

错误信息:使用spark-sql on yarn-cluster的时候启动driver报如下错误:

  1. Exception in thread "Thread-2" java.lang.OutOfMemoryError: PermGen space

哈哈,这个又是相当常见的错误。

解决思路:

直接增大PermGen space,编辑spark-defaults.xml添加:

spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M 

再试ok。但是这里还有一个问题:什么使用yarn-client运行spark-sql就不会出现这问题呢?通过一番脚本追踪发现yarn-client模式运行时在$SPARK_HOME/bin/spark-class文件中已经设置了持久代大小,具体看spark-class的116行:JAVA_OPTS="-XX:MaxPermSize=128m $OUR_JAVA_OPTS",问题解决。Spark的各种模式的jvm的内存参数设置比较容易混淆,这里引用http://www.aboutyun.com/thread-9425-1-1.html 里边的小段总结:


  总结一下Spark中各个角色的JVM参数设置:   

(1)Driver的JVM参数:
-Xmx,-Xms,如果是yarn-client模式,则默认读取
spark-env文件中的SPARK_DRIVER_MEMORY值,-Xmx,-Xms值一样大小;如果是yarn-cluster模式,则读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
PermSize,如果是yarn-client模式,则是默认读取
spark-class文件中的JAVA_OPTS="-XX:MaxPermSize=256m $OUR_JAVA_OPTS"值;如果是yarn-cluster模式,读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
GC方式,如果是yarn-client模式,默认读取的是spark-class文件中的JAVA_OPTS;如果是yarn-cluster模式,则读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的参数值。
以上值最后均可被spark-submit工具中的--driver-java-options参数覆盖。


(2)Executor的JVM参数:
-Xmx,-Xms,如果是yarn-client模式,则默认读取spark-env文件中的SPARK_EXECUTOR_MEMORY值,-Xmx,-Xms值一样大小;如果是yarn-cluster模式,则读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
PermSize,两种模式都是读取的是
spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
GC方式,两种模式都是读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。

三、总结
    在Spark的使用当中,遇到的各种问题还是挺多的,好在版本更新比较快。另外,spark1.2中将shuffle默认基于sort了,还有采用了netty方式,但是在用的过程中也遇到了一些问题,比如fetch Failure、lost Excutor等等,下篇blog总结吧。生命不断,爬坑不止!


参考文献:http://www.aboutyun.com/thread-9425-1-1.html