flink 流数据写入hive flink 写入hdfs

转载

架构思维大师 2023-08-16 14:31:25

文章标签 flink 流数据写入hive flink kafka apache 文章分类 Hive 大数据

一、应用场景：

Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。

flink 流数据写入hive flink 写入hdfs_kafka

二、Streaming File Sink

由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd--HH)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。

1、Flink 提供了两个分桶策略，分桶策略实现了

org.apache.flink.streaming.api.functions.sink.filesystem.BucketAssigner 接口：

BasePathBucketAssigner，不分桶，所有文件写到根目录；
DateTimeBucketAssigner，基于系统时间(yyyy-MM-dd--HH)分桶。

除此之外，还可以实现BucketAssigner接口，自定义分桶策略。

2、Flink 提供了两个滚动策略，滚动策略实现了

org.apache.flink.streaming.api.functions.sink.filesystem.RollingPolicy 接口：

DefaultRollingPolicy 当超过最大桶大小（默认为 128 MB），或超过了滚动周期（默认为 60 秒），或未写入数据处于不活跃状态超时（默认为 60 秒）的时候，滚动文件；
OnCheckpointRollingPolicy 当 checkpoint 的时候，滚动文件。

flink 流数据写入hive flink 写入hdfs_apache_02

三、编码。

1、pom添加依赖。

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-filesystem_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

2、添加Source。

// 源数据
val kafkaProps = new Properties()
kafkaProps.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, Constant.DATA_KAFKA_BROKER)
kafkaProps.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest")
kafkaProps.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "user-login-info")
val consumer010 = new FlinkKafkaConsumer010[String](Constant.DATA_KAFKA_TOPIC, new SimpleStringSchema(), kafkaProps)
val transaction = env.addSource(consumer010)

DataStream<String> sourceStream = transaction.map(xxx) …… ;

3、添加Sink。

DefaultRollingPolicy rollingPolicy = DefaultRollingPolicy
        .create()
        .withMaxPartSize(1024*1024*120) // 设置每个文件的最大大小 ,默认是128M。这里设置为120M
        .withRolloverInterval(Long.MAX_VALUE) // 滚动写入新文件的时间，默认60s。这里设置为无限大
        .withInactivityInterval(60*1000) // 60s空闲，就滚动写入新的文件
        .build();

final StreamingFileSink<String> sink = StreamingFileSink
        .forRowFormat(new Path("xxx"), new SimpleStringEncoder<String>("UTF-8"))
        .withBucketAssigner(new MemberBucketAssigner())
        .withRollingPolicy(rollingPolicy)
        .withBucketCheckInterval(1000L) // 桶检查间隔，这里设置为1s
        .build()
;

sourceStream.addSink(sink);

说明：

forRowFormat 表示输出的文件是按行存储的，对应的还有 forBulkFormat，可以将输出结果用 Parquet 等格式进行压缩存储。

4、自定义BucketAssigner。

public class MemberBucketAssigner implements BucketAssigner<String, String> {
    private static final long serialVersionUID = 10000L;

    @Override
    public String getBucketId(String info, Context context) {
        // 指定桶名 yyyy-mm-dd
        String[] array = info.split("\t");
        System.out.println(DateUtil.format(new Date(Long.valueOf(array[5])), "yyyy-MM-dd"));
        return DateUtil.format(new Date(Long.valueOf(array[5])), "yyyy-MM-dd");
    }

    @Override
    public SimpleVersionedSerializer<String> getSerializer() {
        return SimpleVersionedStringSerializer.INSTANCE;
    }
}