目录
前言
一、环境设置
1. pom文件引入依赖库
2. eclipse配置spark、hbase访问地址
二、Spark Streaming读取kafka中数据
三、Spark Streaming写Hbase
总结
前言
应用场景:日志数据使用flume收集后发送给Kafka,需要将这些流式日志数据实时写入到Hbase中,使用Spark Streaming进行流式数据处理达到近似实时的效果。
一、环境设置
1. pom文件引入依赖库
我使用的spark版本2.X,hbase版本1.3,pom文件添加如下依赖
<!-- spark -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0</version>
<scope>provided</scope>
</dependency>
<!-- spark-streaming -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.2.0</version>
<scope>provided</scope>
</dependency>
<!-- spark-streaming-kafka-0-10 -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
<version>2.2.0</version>
</dependency>
<!-- hbase -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.3.1</version>
</dependency>
这里<version>*</version>里的版本号指的是使用的spark、hbase的版本,而不是依赖库的版本。
2. eclipse配置spark、hbase访问地址
eclipse工程目录如下图:
在src目录同层建立一个普通的文件夹,如上图的dataCenterAnalysisConf,用于放置各种配置文件。将集群上hdfs-site.xml、hbase-site.xml、core-site.xml等配置文件复制出来,放到该文件夹,然后将该文件夹添加到项目的构建路径中,这样在代码中就不需要写hdfs、hbase、hive等的访问地址了,程序在eclipse里运行时会自动找到这些配置文件并获取访问地址(记得修改本机hosts文件)。当打jar包时,由于该文件夹不在src下面,所以不会打进jar包,将jar提交到集群运行时,程序会在集群安装的hadoop、hbase环境中找这些配置文件。
二、Spark Streaming读取kafka中数据
public class KafkaReceiver {
public static void main(String[] args) {
// 获取配置文件路径.在eclipse里运行时user.dir返回src根目录位置,当以jar运行时user.dir返回jar所在的位置,配置文件放到jar同层
String jarPath = System.getProperty("user.dir");
Properties config = FileUtils.loadOutsideConfig(jarPath + "/dataCenterAnalysisConf/config.properties");
// 切分窗口,单位为秒
//int threshold = Integer.valueOf(config.getProperty("adjoint.time"));
//int coNumber = Integer.valueOf(config.getProperty("adjoint.coNumber"));
// 构建SparkStreaming上下文
SparkConf conf = new SparkConf().setAppName("ReadKafka")
.setMaster("local");//提交到集群时记得注释掉
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(5));
// jsc.checkpoint("hdfs://hadoop02:9000/ck-2018-24-004");
// 构建kafka参数map
Map<String, Object> kafkaParams = new HashMap<>();
//网上有一种参数叫metadata.broker.list,这是旧参数已被淘汰,改为bootstrap.servers
kafkaParams.put("bootstrap.servers", config.getProperty("kafka.servers"));
kafkaParams.put("group.id", "lq-consumer-group");
// 指定从latest(最新)还是smallest(最早)处开始读取数据
//kafkaParams.put("auto.offset.reset", "latest");
// 如果true,consumer定期地往zookeeper写入每个分区的offset
kafkaParams.put("enable.auto.commit", false);
//指定kafka输出key、value的数据类型及编码格式(默认为字符串类型编码格式为uft-8)
kafkaParams.put("key.deserializer", StringDeserializer.class);
kafkaParams.put("value.deserializer", StringDeserializer.class);
// kafka topic set
String topics = config.getProperty("kafka.topics");
Set<String> topicsSet = new HashSet<>(Arrays.asList(topics.split(",")));
try {
// 获取kafka的数据
JavaInputDStream<ConsumerRecord<String, String>> stream = KafkaUtils.createDirectStream(jsc,
LocationStrategies.PreferConsistent(),
ConsumerStrategies.<String, String>Subscribe(topicsSet, kafkaParams));
JavaDStream<String> flatMap = stream.flatMap(new FlatMapFunction<ConsumerRecord<String, String>, String>() {
@Override
public Iterator<String> call(ConsumerRecord<String, String> line) throws Exception {
List<String> list = new ArrayList<>();
// 处理kafka的每条数据
System.out.print("***************************" + line.value() + "***************************");
list.add(line.value() + "23333");
return list.iterator();
}
});
flatMap.print();
jsc.start();
jsc.awaitTermination();
jsc.close();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
config.properties文件中添加kafka地址和topic名称
三、Spark Streaming写Hbase
代码如下(示例):
data = pd.read_csv( 'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv') print(data.head())
该处使用的url网络请求的数据。
总结
提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。