spark读取opentsdb spark读取hbase数据

一、学习视频

https://www.bilibili.com/video/BV1oE411s7h7?p=37

二、配置过程

　　2.1在spark安装目录下的jars目录中新建hbase目录

　　　

　　2.2将hbase安装目录下的lib目录下的相关文件拷贝到上面的hbase文件夹中

　　　

 

           注：./代表当前文件夹，之前有一个空格，其他两个文件操作类似   

　　    

　　2.3在官网下载可以将hbase数据转换成python可读取的数据的jar包，并将其拷贝到上面所提的hbase文件夹下

　　2.4配置spark/conf/spark-env.sh,添加以下内容

　　　

 

           此配置信息为3个路径，第一个hadoop安装目录下的bin/hadoop，第二个是hbase安装目录下的bin/hbase，第三个上面所提的hbase文件夹路径

三、文件下载地址

https://mvnrepository.com/artifact/org.apache.spark/spark-examples_2.11/1.6.0-typesafe-001