隔壁小白的博客_Flink_51CTO博客

鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费资料
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

# Flink

七、flink--异步IO

一、flink异步IO概述1.1异步IO的需求AsyncI/O是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决数据流与外部系统交互时的通信延迟（比如等待外部系统的响应）成为了系统瓶颈的问题。对于实时处理，当需要使用外部存储数据的时候，需要小心对待，不能让与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。例如，在mapfunction等算子里访问外部存

flink异步IO

原创 2019-12-10 18:42:31 4672 阅读

六、flink--容错机制

一、flink容错机制1.1flink的容错概述在使用了flink的状态管理之后，因为此时所有的state的读写都只是在task本地的内存中进行，也就是state数据此时只存储在内存中。假设当任务出现故障之后，这些在内存中的state数据也会丢失，就无法恢复了。所以需要一种机制来保障这些state数据的不丢失，这也就是容错机制。flink通过checkpoint来实现。flink开启了checkp

flink--容错机制

原创 2019-12-09 17:40:07 2651 阅读

五、flink--state状态管理机制

一、flink状态原理1.1什么是flink中的状态？为什么需要状态管理？flink运行计算任务的过程中，会有很多中间处理过程。在整个任务运行的过程中，中间存在着多个临时状态，比如说某些数据正在执行一个operator，但是只处理了一半数据，另外一般还没来得及处理，这也是一个状态。假设运行过程中，由于某些原因，任务挂掉了，或者flink中的多个task中的一个task挂掉了，那么它在内存中的状

flink state状态管理

原创 2019-12-09 17:38:11 9324 阅读 1收藏

四、flink--window、eventTime和watermark原理和使用

一、flink的window机制1.1window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。1.2window的类型

window

eventtime

watermark原理和使用

原创 2019-12-09 17:37:08 4536 阅读 2点赞 1收藏

三、flink--DataStreamAPI原理以及用法

一、DataStream基本概述1.1datastream是什么？datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的api封装，便于用户编程。1.2datastream运行模型一个完整的datastream运行模型一般由三部分组成，分别为Source、Transformation、Sink。DataSource主要负责数据的读取（也就是从数据源读

DataStreamAPI原理和用法

原创 2019-12-09 17:35:26 1736 阅读 1点赞 2收藏

二、flink--集群环境搭建

一、Flink环境搭建1.1flink部署方式Flink可以选择的部署方式有：Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。我们主要对Standalone模式和Yarn模式下的Flink集群部署进行分析。Standalone模式常用于单机进行程序测试，Yarn模式常用于实际线上生产环境。1.2集群规划1、集群规划节点名称mast

flink环境搭建

原创 2019-12-09 17:28:43 5019 阅读 1点赞 2收藏

一、flink--架构、运行、调度原理

一、flink概述1.1流处理技术语义Atmostonce（最多一次）：每条数据记录最多被处理一次，潜台词也表明数据会有丢失（没被处理掉）的可能。Atleastonce（最少一次）：每条数据记录至少被处理一次。这个比上一点强的地方在于这里至少保证数据不会丢，至少被处理过，唯一不足之处在于数据可能会被重复处理。Exactlyonce（恰好一次）：每条数据记录正好被处理一次。没有数据丢失，也没有重复的

flink--架构、运行、调度原理

原创 2019-12-09 17:27:56 5144 阅读 1点赞 1收藏 1评论

欢迎