对于熟悉Maven操作的读者来说，可以象上一节讲的那样，先在命令行用Maven命令快速生成Flink基本程序框架，然后导入到IDE中进一步开发。如果读者更熟悉IDE（例如，IntelliJ IDEA）的话，那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具，我们可以方便快速地开发Flink项目。一、在Intell
转载
2024-05-08 12:17:37
430阅读
前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checks
转载
2024-06-22 21:53:07
191阅读
介绍 Apache Flink 是一个开源的、统一的流处理和批处理框架。与这些框架中的任何一个一样，开始使用它可能是一个挑战。即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我总结了自从开始使用 Flink 以来我一直在写的一些笔记。如果 Flink 对你来说是新的东西，那么它很容易遵循。如果你已经是一个有经验
转载
2024-06-02 17:08:30
221阅读
一.
IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
Flink（五）Flink开发IDEA环境搭建与测试（2）用IDEA开发实时程序--流式处理数据案例--WordcountStreaming（1）Scala代码import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironm
转载
2024-03-23 21:12:31
58阅读
http://ifeve.com/flink-quick-start/ http://vinoyang.com/2016/05/02/flink-concepts/ http://wuchong.me/blog/2016/05/09/flink-internals-understanding-exe
转载
2018-04-16 11:10:00
124阅读
2评论
上篇博客给大家讲解了Flink的入门及dataSource1、Map需求： 将 DataSet 中的每一个元素转换为另外一个元素示例: 使用 map 操作，将以下数据 “1,张三”, “2,李四”, “3,王五”, “4,赵六” 转换为一个 scala 的样例类。实现步骤：获取 ExecutionEn
转载
2024-02-28 22:07:21
75阅读
IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3操作系统：macOS Catalina 10.15.3JDK：1.8.0_211Maven：3.6.0I
转载
2024-05-11 20:56:54
190阅读
前言之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅
转载
2024-06-21 20:48:01
98阅读
离线：结果是一次性出来的。实时：来一个数据处理一次，数据是带状态的。
原创
2024-02-27 11:20:00
299阅读
集群角色Flik提交作业和执行任务，需要几个关键组件：客户端(Client)：代码由客户端获取并做转换，之后提交给JobMangerJobManager：就是Fink集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。TaskManager：就是真正“干活的人”，数据的处理操作都是它们来做的。Flink 运行时由两种类
转载
2024-07-20 15:47:46
232阅读
摘要：本文整理自京东搜索推荐算法工程师张颖、刘露在 Flink Forward Asia 2021 的分享。主要内容包括：背景京东搜索推荐机器学习现状基于 Alink 实现在线学习Tensorflow on Flink 应用规划一、背景搜索和推荐是互联网应用的两个核心入口，大多数流量都来自于搜索和推荐这两个场景。京东零售按站点，分为主站、京喜、海外站以及一些垂直领域站点。对于搜索业务来讲，每个站点
智能提示Intellij首当其冲的当然就是Intelligence智能！基本的代码提示用Ctrl+Space，还有更智能地按类型信息提示Ctrl+Shift+Space，但因为Intellij总是随着我们敲击而自动提示，所以很多时候都不会手动敲这两个快捷键(除非提示框消失了)。用F2/ Shift+F2移动到有错误的代码，Alt+Enter快速修复(即Eclipse中的Quick Fix功能)。当
文章目录01 引言02 Flink概述2.1 什么是Flink01 引言在上一节《Flink教程（01
原创
2022-03-25 14:39:53
10000+阅读
9、状态编程9.1、Flink 中的状态在流处理中，数据是连续不断到来和处理的。每个任务进行计算处理时，可以基于当前数据直接转换得到输出结果；也可以依赖一些其他数据。这些由一个任务维护，并且用来计算输出结果的所有数据，就叫作这个任务的状态。9.1.1、有状态算子在 Flink 中，算子任务可以分为无状态和有状态两种情况。 无状态的算子任务只需要观察每个独立事件，根据当前输入的数据直接转换输出结果，
转载
2024-03-01 15:06:21
347阅读
文章目录前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用 前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checkst
转载
2024-04-03 12:56:33
81阅读
# 使用 Flink 连接 Hive 数据库
## 1. 整件事情的流程
以下是实现 "idea flink hive" 的整个流程，可以用表格展示步骤：
| 步骤 | 描述 |
|-----|------|
| 1 | 创建一个 Maven 项目 |
| 2 | 添加 Flink 和 Hive 的依赖 |
| 3 | 配置 Flink 连接 Hive 的环境 |
| 4 | 编写代码连接
原创
2023-10-04 14:25:00
134阅读
刚刚接触Flink，磕磕绊绊的写了一些Flink的代码，本想着打包到服务器上跑一下。结果给我报错[ERROR] Failed to execute goal org.apache.maven.plugins:maven-checkstyle-plugin:2.17:check (validate) on project dsssanaly: Failed during checkstyle exe
一、条件断点 循环中经常用到这个技巧，比如：遍历1个大List的过程中，想让断点停在某个特定值。 参考上图，在断点的位置，右击断点旁边的小红点，会出来一个界面，在Condition这里填入断点条件即可，这样调试时，就会自动停在i=10的位置 二、回到"上一步" 该技巧最适合特别复杂的方法套方法的场景，好不容易跑起来，一不小心手一抖，断点过去了，想回过头
1 Flink 和 storm,spark 对比要求消息投递语义为 Exactly Once 的场景；数据量较大，要求高吞吐低延迟的场景；需要进行状态管理或者窗口统计的场景，建议使用 flink2 入门案例创建空的 maven 工程<dependency>
<groupId>org.apache.flink</groupId>
转载
2024-03-05 09:33:50
0阅读
