51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# flink

Flink SQL解析Json格式数据的方法

本文主要测试了flink-json*.jar与Table SQL对Json嵌套子对象和数组对象的解析方法以及SQL语句的语法,同时参考Blink定义了PrintTableSink以方便调试.

flink
table
json
array
置顶 原创 精选 2019-03-27 10:06:02 10000+阅读 2点赞 2收藏

Apache Flink官方文档-Flink CEP

FlinkCEP0.本文概述简介FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。它允许你在×××的事件流中检测事件模式，让你有机会掌握数据中重要的事项。本文描述了FlinkCEP中可用的API调用。首先介绍PatternAPI，它允许你指定要在流中检测的模式，然后介绍如何检测匹配事件序列并对其进行操作。然后，我们将介绍CEP库在处理事件时间延迟时所做的假设。1.入门首先是要在你的p

flink
cep
翻译 2019-03-12 13:37:18 10000+阅读 4收藏

Flink在美团的实践与应用

作者：刘迪珊整理：上海-星辰（Flink China社区志愿者）本文整理自8月11日在北京举行的FlinkMeetup，分享嘉宾刘迪珊(2015年加入美团数据平台。致力于打造高效、易用的实时计算平台，探索不同场景下实时应用的企业级解决方案及统⼀化服务)。美团实时计算平台现状和背景实时平台架构上图呈现的是当前美团实时计算平台的简要架构。最底层是数据缓存层，可以看到美团测的所有日志类的数据，都是通过统

flink
美团
实践
应用
转载 2019-03-12 09:07:56 865 阅读 1收藏

Flink 原理与实现：Aysnc I/O

原文链接： http://wuchong.me/blog/2017/05/17/flink-internals-async-io/ 背景Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是

flink
异步I/O
转载 2019-03-12 09:05:35 706 阅读 1收藏

Flink 原理与实现：Table & SQL API

原文链接：http://wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/ Flink 已经拥有了强大的 DataStream/DataSet API，可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢？首先 Table API 是一种关系型API，类 SQL 的API，用户可以像

flink
table
sql api
转载 2019-03-12 09:03:10 3823 阅读 1收藏

Flink 原理与实现：Session Window

原文链接：　http://wuchong.me/blog/2016/06/06/flink-internals-session-window/ 在上一篇文章：Window机制中，我们介绍了窗口的概念和底层实现，以及 Flink 一些内建的窗口，包括滑动窗口、翻滚窗口。本文将深入讲解一种较为特殊的窗口：会话窗口（session window）。建议您在阅读完上一篇文章的基础上再阅读本文。当我们需要分

flink
session window
源码分析
转载 2019-03-12 09:02:02 3650 阅读 1收藏

Flink 原理与实现：Session Window

原文链接：　http://wuchong.me/blog/2016/06/06/flink-internals-session-window/ 在上一篇文章：Window机制中，我们介绍了窗口的概念和底层实现，以及 Flink 一些内建的窗口，包括滑动窗口、翻滚窗口。本文将深入讲解一种较为特殊的窗口：会话窗口（session window）。建议您在阅读完上一篇文章的基础上再阅读本文。当我们需要分

flink
session window
源码分析
转载 2019-03-12 09:02:00 821 阅读 1收藏

Flink 原理与实现：数据流上的类型和操作

原文链接：　http://wuchong.me/blog/2016/05/20/flink-internals-streams-and-operations-on-streams/Flink 为流处理和批处理分别提供了 DataStream API 和 DataSet API。正是这种高层的抽象和 flunent API 极大地便利了用户编写大数据应用。不过很多初学者在看到官方 Streaming

flink
operator
算子
流类型
转载 2019-03-12 08:58:29 1142 阅读 1收藏

Flink 原理与实现：Window 机制

原文链接：　http://wuchong.me/blog/2016/05/25/flink-internals-window-mechanism/ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，

flink
window
源码分析
转载 2019-03-12 08:56:23 820 阅读 1收藏

Flink 原理与实现：理解 Flink 中的计算资源

原文链接：　http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/本文所讨论的计算资源是指用来执行 Task 的资源，是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念，如：Slot、SlotSharingGroup、CoLocationGroup、Chain等。并会着

flink
概念
计算资源
转载 2019-03-12 08:53:03 1256 阅读 1收藏

Flink 原理与实现：如何生成 JobGraph

原文链接：　http://wuchong.me/blog/2016/05/10/flink-internals-how-to-build-jobgraph/ 继前文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序，构造出一个代表拓扑结构的St

flink
jobgraph
源码分析
转载 2019-03-12 08:51:35 1847 阅读

Flink 原理与实现：如何生成 StreamGraph

继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。 继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。 继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。 继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。

flink
streamgraph
源码分析
转载 2019-03-12 08:49:51 613 阅读

Flink 原理与实现：如何处理反压问题

流处理系统需要能优雅地处理反压（backpressure）问题。短时负载高峰导致系统接收数据的速率远高于它处理数据的速率

flink
反压机制
环形缓冲
转载 2019-03-12 08:46:41 1079 阅读 1收藏

Flink 原理与实现：内存管理

Flink内存管理，序列化框架, JVM内存管理

flink
内存管理
转载 2019-03-12 08:43:48 520 阅读 1收藏

Flink 原理与实现：架构和拓扑概览

客户端提交FlinkApp到JobManager以及下发任务到TaskManager，内部是怎样执行的？

flink
StreamGraph
JobGraph
ExecutionGraph
物理执行图
转载 2019-03-09 16:59:53 1637 阅读 1收藏

Flink 如何管理 Kafka 消费位点

Apache Flink 中的 Kafka 消费位点是如何做检查点，故障恢复

flink
kafka
checkpoint
recovery
转载 2019-03-09 16:00:23 2676 阅读 1收藏

Apache Flink 官方文档--流(DataStream API)-旁路输出

主要介绍了旁路输出的使用场景，如何生成旁路输出结果数据流，以及如何读取旁路输出结果数据流。

flink
side output
streaming
旁路输出
翻译 2019-03-03 22:05:50 7416 阅读

Apache Flink 官方文档--作业管理器(JM, JobManager)高可用（HA）

使用JobManager High Availability，可以从JobManager的故障中恢复，从而消除单点故障（SPOF）。可以为独立（Standalone）集群和YARN集群配置高可用性。

flink
JobManager
standalone
yarn
ha
翻译 2019-02-13 09:43:44 8031 阅读

Apache Flink JobManager HA部署

Flink的阿里巴巴blink分支编译以及HA部署

flink
master
ha
原创 2019-01-30 08:26:35 5226 阅读

Apache Flink 官方文档--概念

本文简要介绍了数据流编程模型和分布式运行时的相关概念，如streaming dataflow,并行数据流，窗口，时间，流式批处理，作业管理器，任务管理器，任务槽（task slot），状态后端，保存点和检查点等。

flink
编程模型
分布式运行时
概念
流式计算
置顶 翻译 2018-12-31 16:12:26 2111 阅读 1收藏

Apache Flink 官方文档--概览

Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。

flink
概览
翻译 2018-12-26 08:55:42 1157 阅读

基于Docker Container运行Flink1.7.1 Local Cluster模式

本文记录了使用Docker技术启动本地模式运行的Flink容器的全过程，基础镜像基于jdk1.8.0_171

docker
flink
local cluster
原创 2018-12-25 16:46:22 2605 阅读

Apache Flink官方文档中文版--Flink是什么？

架构  ApacheFlink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink设计为运行在所有常见的集群环境中，并且以内存速度和任何规模执行计算。在这里，我们解释Flink架构的相关重要内容。处理无边界和有边界数据  任何类型的数据都是作为事件流产生的。信用卡交易事务，传感器测量，机器日志以及网站或移动应用程序上的用户交互行为，所有这些数据都生成流。

flink
架构
应用
操作
翻译 2018-09-23 16:50:05 10000+阅读 1收藏 1评论

Apache Flink官方文档中文版-数据流上有状态的计算

应用生态图特点所有流式计算场景事件驱动的应用程序流和批量分析数据管道和分析保证正确性完全一次的语义事件处理复杂的后期数据处理分层PAI流和批量数据上的SQLDataStreamAPI和DataSetAPIProcessFunction（时间和状态）业务聚焦灵活部署高可用检查点扩展到任意场景横向扩展架构支持大量状态增量检查点优秀的性能低延迟高吞吐量内存计算

flink
概览
流式计算
streaming
翻译 2018-08-17 11:34:40 2052 阅读

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯