NIO4444的博客_【Flink零基础学习】

Flink系列：Flink定义与特性

定义Apache Flink 是一个分布式流式计算引擎，用于在数据流上进行有状态的计算（Flink系列：无界和有界数据流定义与区别）。特性低延迟有状态的 Flink 程序针对本地状态访问进行了优化。任务的状态始终保留在内存中，如果状态大小超过可用内存，则会保存在能高效访问的磁盘数据结构中。任务通过访问本地（通常在内存中）状态来进行所有的计算，从而产生非常低的处理延迟。故障恢复定期异步地对本地状态进行持久化存储来保证故障场景下精确一次的状态一致性...

flink

数据结构

流式计算

其他

原创 2022-03-09 11:08:53 112 阅读

Flink系列：解决/bin/config.sh: line 32: syntax error near unexpected token

问题Flink启动运行start-cluster.sh报错：bin/config.sh: line 32: syntax error near unexpected token `<'bin/config.sh: line 32: ` done < <(find "$FLINK_LIB_DIR" ! -type d -name '*.jar' -print0 | sort -z)'解决不要使用sh start-cluster.sh运行，直接运行 sta...

flink

bash

jar

其他

原创 2022-03-09 11:08:51 789 阅读

Flink系列：解决NoClassDefFoundError:org/apache/flink/streaming/api/environment/StreamExecutionEnvironment

问题Exception in thread "main" java.lang.NoClassDefFo

java

flink

apache

原创 2022-03-09 11:07:18 1155 阅读

Flink系列：自定义FlatMap Function

扩展Flink系列：自定义Source、map、flatMap、Sink Function

自定义

flink

其他

原创 2022-03-09 10:50:37 128 阅读

Flink系列：DataStream API使用

DataStream API 主要分为块： DataSource Transformation, SinkDataSource是程序的数据源输入，可以通过 StreamExecutionEnvironment. addSource( sourceFunction）为程序添加1个数据源 Transformation 是具体的操作，它对一个或多个输入数据源进行计算处理，比如 Map FlatMap Filter 等操作 Sink 是程序的输出，它可...

数据源

flink

数据

其他

原创 2022-03-09 10:50:37 97 阅读

Flink系列：自定义map Function

扩展Flink系列：自定义Source、map、flatMap、Sink Function

自定义

flink

其他

原创 2022-03-09 10:50:36 264 阅读

Flink系列：自定义SinkFunction

扩展Flink系列：自定义Source、map、flatMap、Sink Function

flink

自定义

其他

原创 2022-03-09 10:50:36 117 阅读

Flink系列：批处理和流处理（DataSet和DataStream）区别

基础Flink系列：无界和有界数据流定义与区别批处理适合有边界数据使用DataSet流处理适合无边界数据使用DataStream

数据

缓存

序列化

原创 2022-03-09 10:49:53 224 阅读

Flink系列：高吞吐和低延迟

Flink以固定的缓存块为单位进行网络数据传输，用户可以通过设置缓存块超时值指定缓存块的传输时机。如果缓存块的超时值为0，则系统可以获得最低的处理延迟；如果缓存块的超时值为无限大，则系统可以获得最高的吞吐量...

缓存

flink

数据传输

其他

原创 2022-03-09 10:43:55 167 阅读

Flink系列：Broadcast的使用方法

区别DataStream 中的 Broadcast （分区规则）：分区规则是把元素广播给所有的分区，数据会被重复处理DataStream.broadcast () Flink 中的 Broadcast（广播变量〉功能在每台机器上保持一个只读的缓存变量，而不是传送变量的副本给 Task 。广播变量创建后，它可以运行在集群中的任何Function上，而不需要多次传递给集群节点。注意，不要修改广播变量，这样才能确保每个节点获取到的值都是一致的。Fli...

数据集

flink

共享变量

其他

原创 2022-03-09 10:43:54 428 阅读

Flink系列：Sink API使用方法

Flink自带APIwriteAsText()将元素以字符串形式逐行写入，这些字符串通过调用每个元素的 toString()方法来获取。print() / printToErr()打印每个元素的toString()方法的值到标准输岀或者标准错误输出流中。自定义输出addSink可以实现把数据输出到第三方存储介质中。实现 SinkFunction 接口。继承 RichSinkFunction 类。...

自定义

flink

字符串

其他

原创 2022-03-09 10:43:54 125 阅读

Flink系列：典型应用场景

实时ETL灵活SQL API，支持对数据进行实时清洗、归并、结构化处理实时监控实时分析系统和用户行为，及时发现风系统风险在线电商实时分析各类交易数据，及时调整系统策略、内容投放、APP推送等。实时报表实时采集、加工流式数据，监控各类指标数据...

数据

结构化

推送

其他

原创 2022-03-09 10:43:54 101 阅读

Flink系列：检查点如何保证exactly-once

检查点检查点的作用是有Flink自动生产的，当出现故障时，将系统重置为正确状态。Flink系列：有状态、无状态区别

flink

检查点

重置

其他

原创 2022-03-09 10:43:54 48 阅读

Flink系列：有状态、无状态区别

无状态每一条输入对应一个输出有状态多个输入对应一个输出

其他

原创 2022-03-09 10:43:54 167 阅读

Flink系列：分布式缓存Distributed Cache使用方法

工作机制为程序注册个文件或者目录（本地或者远程文件系统，如 HDFS），通过 ExecutionEnvironment为它明明。当程序执行时， Flink 自动将文件或者目录复制到所有 TaskManager 节点的本地文件系统，用户可以通过这个指定的名称查找文件或者目录，然后从 TaskManager 节点的本地文件系统访问它。注册使用...

本地文件

查找文件

hdfs

其他

原创 2022-03-09 10:43:53 165 阅读

Flink系列：Kafka Consumer消费策略

消费策略setStartFromEarliest() 从最初的数据开始进行消费setStartFromGroupOffsets()默认消费策略读取上次消费者保存的 Offset 信息setStartFromLatest() 从最新的数据进行消费，忽略Offset 信息setStartFromSpecificOffsets(Map<KafkaTopicPartition, Long>) 可以在代码中指定每个分区开始读取...

数据

kafka

ico

其他

原创 2022-03-09 10:43:53 773 阅读

Flink系列：Transformation API使用方法

Transformation自带DataSet算子Map：输入一个元素，然后返回一个

数据

数据集

自定义

原创 2022-03-09 10:42:16 170 阅读

Flink系列：解决Specifying keys via field positions is only valid for tuple data types

Exception in thread "main" org.apache.flink.api.common.InvalidProgramE

java

flink

apache

原创 2022-03-09 10:40:57 489 阅读

Flink系列：Accumulator的使用方法

FlinkAccumulator Count 是一个具体累加器的实现，常

flink

缓存

并行度

原创 2022-03-09 10:39:57 247 阅读

Flink系列：DataStream unoin与connect的区别

共同点将2个流或多个流合成一个流区别union连接的2个流的类型必须一致，connect连接的流类型可以不一致，但是可以统一处理。

其他

原创 2022-03-09 10:01:45 211 阅读

Flink系列：Kafka Producer 容错处理方法

注意不同版本的处理方式不同Kafka 0.9、Kafka0.10FlinkKatkaProducer09/FlinkKatkaProducer010提供At-least-once 的语义，还需要配置下面两个参数setLogFailuresOnly(false）setFlushOnCheckpoint(true）Kafka 0.11 Flink 开启 CheckPoint, 则FlinkKafkaProducer011提供 Exa...

flink

kafka

不同版本

其他

原创 2022-03-09 10:01:45 108 阅读

Flink系列：Kafka Consumer Offset 自动提交设置

开启Check Point时Checkpoint后，同步offset给kafka。未开启Check Point时enable.auto.commit: true auto.commit.interval.ms: 1500

kafka

其他

原创 2022-03-09 10:01:45 467 阅读

Flink系列：事件Time时间分类（指定事件时间）

时间分类Stream数据中的Time（时间〉有下面3种：• Event Time 事件产生的时间• Ingestion Time 事件进入Flink的时间 • Processing Time 事件被处理时当前系统的时间流转图指定Stream数据中的Time/默认是处理时间为基础，可以修改：env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)...

flink

数据

处理方法

其他

原创 2022-03-09 10:01:45 140 阅读

Flink系列：日志实时清洗系统架构

基础监控系统技术栈架构

技术栈

监控系统

其他

原创 2022-03-09 10:01:44 131 阅读

Flink系列：日志实时报表分析系统架构

基础监控系统技术栈架构

技术栈

监控系统

其他

原创 2022-03-09 10:01:44 285 阅读

Flink系列：双数据流转换为单数据流

双数据流转换为单数据流操作的运算：cogroup, join和coflatmapJoin：只输出条件匹配的元素对。 CoGroup: 除了输出匹配的元素对以外，未能匹配的元素也会输出。 CoFlatMap：没有匹配条件，不进行匹配，分别处理两个流的元素。CoFlatMapstream1数据到来时，会调用flatMap1方法，stream2收到数据之时，会调用flatMap2方法...

数据

单数据流

其他

原创 2022-03-09 10:01:44 76 阅读

Flink系列：Kafka动态支持多个topic传入

//支持正则表达式FlinkKafkaConsumer consumer011 = new FlinkKafkaConsumer( Pattern.compile("topic[0-9]]"), new SimpleStringSchema(), parameterTool.getProperties());

flink

kafka

正则表达式

原创 2022-03-09 10:01:27 1309 阅读

Flink系列：Event time VS Processing time

Event timeThis is the time at which events actually occurred.Processing timeThis is the time at which events are observed in the system.

flink

原创 2022-01-30 09:23:27 105 阅读

Flink系列：处理延迟过程中时间的选择（Event time、Process time）

目录Event time VS Process timeProcess timeEvent timeEvent time VS Process timeProcess time在处理时间中指定分界线（例如，在水印通过窗口结束后，将窗口保持10分钟的处理时间），但使用Process time，程序容易受到pipeline本身的问题的影响(例如，工人崩溃，导致管道停止处理几分钟)，

数据

原创 2022-01-29 17:43:37 148 阅读

Flink系列：使用处理时间的优势、劣势

无法正确处理历史数据, 无法正确处理超过最大无序边界的数据, 结果将是不确定的,

历史数据

数据

原创 2022-01-29 17:39:10 138 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

NIO4444