Flink CEP用于处理复杂事件模式匹配，整个CEP知识和体系还是比较复杂的，这里主要对一些常用的模式进行整理，为了简化内容，对于很少用的模式及api就省略了。1. 模式模式API可以从输入流中提取的复杂模式序列。注意每个模式必须具有唯一的名称，以便后续可以使用该名称来标识匹配的事件。1.1 单个模式单个模式接受单个事件，而循环模式可以接受多个事件。Pattern<Event, ?>
转载
2024-04-13 10:14:51
43阅读
I.前言前两天转了章大的zeppelin系列教程（以下简称“教程”），我也好好的研究学习了一波。我曾无数次鼓吹基于Jupyter的应用，也相信在未来数据分析领域，他会有自己的一席之地....
原创
2022-01-25 16:26:48
450阅读
I.前言前两天转了章大的zeppelin系列教程（以下简称“教程”），我也好好的研究学习了一波。我曾无数次鼓吹基于Jupyter的应用，也相信在未来数据分析领域，他会有自己的一席之地....
原创
2021-07-06 13:56:11
456阅读
# 实现 "zeppelin flink mysql"
## 介绍
在本文中，我将向你介绍如何使用Zeppelin、Flink和MySQL来构建一个简单的数据处理流程。首先，我将为你展示整个流程的步骤和代码示例，然后逐步详细说明每个步骤需要做什么，并给出相应的代码示例和注释。
## 流程步骤
下表展示了实现 "zeppelin flink mysql" 的整个流程：
| 步骤
原创
2023-08-16 16:19:11
70阅读
本文作者：腾讯新闻商业化数据高级工程师 罗强摘要 随着社会消费模式以及经济形态的发展变化，将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户，业务应用多、数据量大。加之业务增长、场景更加复杂，业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中，更快的响应用户需求、精准计费停单
转载
2024-05-28 19:29:18
34阅读
概述随着Flink1.11.0版本的发布,一个很重要的特性就是支持了流数据直接写入到hive中,用户可以非常方便的用SQL的方式把kafka的数据直接写入到hive里面.这篇文章会给出F...
原创
2021-08-16 15:01:06
1103阅读
文章目录数据管道 & ETL无状态的转换`map()``flatmap()`Keyed Streams`keyBy()`通过计算得到键Keyed Stream 的聚合（隐式的）状态`reduce()` 和其他聚合算子有状态的转换Flink 为什么要参与状态管理？Rich Functions一个使用 Keyed State 的例子清理状态Non-keyed StateConnected S
转载
2024-05-02 21:57:29
70阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！前言大数据领域SQL化开发的风潮...
转载
2021-06-10 20:23:19
177阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！前言大数据领域SQL化开发的风潮...
转载
2021-06-10 20:24:04
214阅读
今天我来讲下如何在 Zeppelin 里做机器学习。机器学习的重要性我就不多说了，我们直奔主题。 Flink 在机器学习这个领域发力较晚，社区版没有一个完整的机器学习算法库可以用，Alink[1]是目前 Flink 生态圈相对比较完整的机器学习算法库，Alink 也在往 Fli…
原创
2022-05-23 21:21:49
347阅读
ZeppelinSDK：Flink平台建设的基石章剑锋（简锋）Flink中文社区用过Zeppelin的人应该比较熟悉Zeppelin的UI，因为Zeppelin的主要使用场景都是交互式，用户需要手动来操作。那除了这种手动的方式，还有其他的方式吗？如果你不想用ZeppelinUI，但又想用Zeppelin提交和管理大数据作业（比如FlinkJob）的能力该怎么办？或者是你在Zeppelin里写好了代
原创
2021-02-04 22:47:15
432阅读
作者：LittleMagic 大数据领域 SQL 化开发的风潮方兴未艾（所谓"Everybody knows SQL"），Flink 自然也不能“免俗”。 Flink SQL 是 Flink 系统内部最高级别的 API，也是流批一体思想的集大成者。 用户可以通过简单明了的 SQL 语句像查表一样执行
转载
2020-11-27 15:57:00
149阅读
2评论
Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分…
转载
2022-11-16 17:59:21
41阅读
DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
主要抽象Flink RPC 框架主要抽象了RpcService,RpcEndpoint,RpcGateway,RpcServer这几个接口，具体实现可以采用多种方式，比如：akka,nettyRpcService我理解为RPC框架的引擎，可以用来启动、停止、连接一个RpcEndpoint，以及执行某些异步任务或者周期性调度任务。主要方法:
connect:连接到一个RpcEndpoint,返回一个
转载
2023-12-10 10:34:31
68阅读
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。目录一、目标二、环境准备三、创建Flink Streaming工程四、增加kafka和kafka-
转载
2024-07-01 19:51:00
139阅读
概述Flink的exactly-once语义实现是需要依赖checkpoint的,对于一个有状态的Flink任务来说如果想要在任务发生failover,或者手动重启任务的时候任务的状态不...
原创
2021-08-16 15:01:02
735阅读
用过 Zeppelin 的人应该比较熟悉 Zeppelin 的 UI，因为 Zeppelin 的主要使用场景都是交互式，用户需要手动来操作。那除了这种手动的方式，还有其他的方式吗？如果你不想用 Zeppelin UI，但又想用 Zeppelin 提交和管理大数据作业 （比如 F…
原创
2022-09-28 16:07:57
102阅读
flink中的rpc框架使用的akka。在本节并不详细讲述akka，而是就flink中rpc来讲述akka的部分内容。本节，我从AkkaRpcActor.handleRpcInvocation方法讲起。 看过hadoop、yarn、hive、hbase、presto的rpc框架，感觉flink的通信框架是最容易让人绕晕的。虽然之前也看过一点spark中akka的通信，但现在早已忘得一干二净。
转载
2024-02-08 14:51:49
85阅读
一、介绍Flink是分布式大数据处理框架，那么网络通信就离不开了，从目前来看，几乎所有的开源的大型软件，尤其是Java的，基本已经不再倾向于自己写底层网络通信，毕竟有很多可以使用的Rpc网络通信框架可以来完善使用，Flink也是如此，它是基本Akka Rpc这款Rpc通信框架的。二、分析1、服务端先看一下测试代码的最基础的通信代码（RpcEndPointTest.java）：public inte
转载
2024-03-19 19:45:11
30阅读
