发现采用shcjar的话,总是执行到某个点就停止了


于是我打算尝试一下直接说哦用org.apache.hadoop.hbase.spark这个datasource看看


确实不行,即使没有createtable,也是报错没有权限创建表;还是专心来研究一下shc吧


翻看一下日志,日志注明了spark查看路径:http://192.168.156.104:4041


后来过了一段时间,报错


Failed 1 action: Unable to find region for a in test after 35 tries.: 1 time,


 


Can not infer schema for type: <type 'str'>


这是因为我尝试向HBase中插入


df = sc.parallelize(['b', '2.0']).toDF(schema=['col0', 'col1']),插入的数据格式有误;


 


list_namespace 罗列naespace


list_namespace_tables XXX 罗列某个命名空间下的所有表


 


后来我想到了应该看日志;于是上网搜索了一下spark的日志,发现应该通过18088,History Server Log中能够看到一些蛛丝马迹


zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)


17/08/15 00:06:00 WARN zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect


难道是ZooKeeper的一些问题?


通过zkCli.sh报错,和上面是一样的,也就是说,zookeeper的客户端也是报错的,搜了一下可能的问题:


1.时间同步问题;


2.zoo.cfg的clientPort要设置为2181(和客户端hbase-site.xml一致)


3.hosts中对于localhost6一行要删掉


前两个排除了,想要通过第三种方式是一下,但是太烦了,集群所有的机器都要重启(修改hosts文件需要重启),我打算再看看,能够找到别的解决方案;后来我在通过ClouderaManager页面的时候,看到Zookeeper的一个配置告警,建议Server最少要三台;我突然想到曾经看到过zookeeper集群有选举机制,只有超过半数通过才能够提供服务;于是增加了两个实例,问题,解决了。


 


下面的是采用原生的Pyspark以及shcjar两种方式实现的hive到hbase,但是在实际测试中发现在大数据量(比如数据2个G)的情况下,这种pyspark方式会导致一个问题,卡在中间某个任务,之后被告知超时,然后YARN将其kill掉。可能是系统性能问题?