昨天去TW参加了pre class，就是类似于新员工入职前的培训，有很多很cool的东西，给我印象最深的就是IntelliJ IDEA了（coder么。。。）刚才在网上搜了搜，发现很少有她的介绍资料，所以贴过来一个让大家看看。文章中有一句话值得大家注意：”IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、
Git对本地代码管理及提交一、 下载安装git下载地址 https://git-scm.com/downloads安装过程 直接安装即可二、 配置git1.在本地新建一个文件夹 2.在文件夹内右键选择Git Bas Here初始化名字和邮箱 这是去全局操，操作一次即可!初始化本地版本库 此时，工作空间下出现了.git文件三、 提交代码1添加文件 此时在此工作空间下新建一个txt，控制台输入 git
转载
2024-11-02 12:51:26
46阅读
使用idea开发flink报错，就是普通的读取文本内容，进行单词计数。scala版本是2.11.12，flink是1.8.1报错信息如下：Exceptioninthread“main”java.lang.NoSuchMethodError:akka.actor.ActorSystemImpl.(Ljava/lang/String;Lcom/typesafe/config/Config;Ljava/
原创
2020-03-19 22:50:39
4516阅读
# 使用 Docker 搭建 Flink 开发环境
## 引言
Flink 是一种开源的流处理框架，具有高吞吐量和低延迟的特点，常用于处理大规模的实时数据。在开发 Flink 的应用程序时，我们需要搭建一个适合的开发环境来进行代码的编写、测试和调试。本文将介绍如何使用 Docker 搭建 Flink 的开发环境，并提供一个示例来演示如何在环境中开发一个简单的 Flink 应用程序。
## 准
原创
2023-10-10 11:22:39
108阅读
Git对本地代码管理及提交一、 下载安装git下载地址 https://git-scm.com/downloads安装过程 直接安装即可二、 配置git1.在本地新建一个文件夹 2.在文件夹内右键选择Git Bas Here初始化名字和邮箱 这是去全局操，操作一次即可!初始化本地版本库 此时，工作空间下出现了.git文件三、 提交代码1添加文件 此时在此工作空间下新建一个txt，控制台输入 git
转载
2024-11-02 12:52:08
49阅读
了解了Flink的基本原理和运行框架，本节我们尝试搭建Flink开发环境，由于Flink从1.10版本开始，在Windows系统上存在运行问题，且Flink官方也将各种Windows版本的Flink工具脚本从开发包中删除，因此本文主要基于Mac（Linux）操作系统搭建Flink开发环境。主要步骤包括：下载 && 安装JDK 1.8下载 && 安装Maven下载 &
转载
2023-07-28 11:42:23
175阅读
一、安装 Scala 插件Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings => plugins 打开插件安装页面，搜索 Scala 插件并进行安装，安装完成后，重
转载
2024-07-18 21:36:09
406阅读
长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：Application Mode。本文先回顾两种传统模式的做法与存在的问题，再简要介绍Application Mode。传统部署模式 Session模式 Session模式是预分配资源的，也就是提前根据指定的资源参数初始化一个Fli
转载
2024-02-12 20:05:09
46阅读
对于熟悉Maven操作的读者来说，可以象上一节讲的那样，先在命令行用Maven命令快速生成Flink基本程序框架，然后导入到IDE中进一步开发。如果读者更熟悉IDE（例如，IntelliJ IDEA）的话，那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具，我们可以方便快速地开发Flink项目。一、在Intell
转载
2024-05-08 12:17:37
434阅读
前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checks
转载
2024-06-22 21:53:07
191阅读
一.
IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
介绍 Apache Flink 是一个开源的、统一的流处理和批处理框架。与这些框架中的任何一个一样，开始使用它可能是一个挑战。即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我总结了自从开始使用 Flink 以来我一直在写的一些笔记。如果 Flink 对你来说是新的东西，那么它很容易遵循。如果你已经是一个有经验
转载
2024-06-02 17:08:30
221阅读
步骤列表本次实战经历以下步骤：创建应用；编码；构建；提交任务到Flink，验证功能；环境信息Flink：1.7；Flink所在机器的操作系统：CentOS Linux release 7.5.1804；开发环境JDK：1.8.0_181；开发环境Maven：3.5.0；应用功能简介SocketWindowWordCount.jar，实现的功能是从socket读取字符串，将其中的每个单词的数量统计出
转载
2024-03-22 21:11:21
123阅读
Flink（五）Flink开发IDEA环境搭建与测试（2）用IDEA开发实时程序--流式处理数据案例--WordcountStreaming（1）Scala代码import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironm
转载
2024-03-23 21:12:31
58阅读
1、创建一个Maven项目并配置Java SDK和Scala SDK，如图：
这里选择的是jdk1.8和scala2.12版本。
2、添加pom依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi=
原创
2021-07-16 09:45:43
3487阅读
IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3操作系统：macOS Catalina 10.15.3JDK：1.8.0_211Maven：3.6.0I
转载
2024-05-11 20:56:54
190阅读
在idea的debug中，有很多调试的快捷键,比如F5进入到方法内、F6跳过方法往下执行、F8执行到下一个断点（如果没有下一个断点，则执行到结束）。本文主要介绍F7和Drop Frame的使用，以及它们之间的区别。 1、F7 首先，我们写一段测试代码：1 public class Main {
2 public static void main(String[] args) {
3
转载
2024-03-18 21:31:04
74阅读
前言之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅
转载
2024-06-21 20:48:01
98阅读
集群角色Flik提交作业和执行任务，需要几个关键组件：客户端(Client)：代码由客户端获取并做转换，之后提交给JobMangerJobManager：就是Fink集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。TaskManager：就是真正“干活的人”，数据的处理操作都是它们来做的。Flink 运行时由两种类
转载
2024-07-20 15:47:46
232阅读
文章目录前言入门简介准备在 YARN 上启动 Flink 会话Flink 在 YARN 上支持的部署模式yarn-application 模式per job 模式yarn session 模式Flink on YARN 参考在 YARN 上配置 Flink资源分配行为YARN 上的高可用性支持的 Hadoop 版本在防火墙后面的 YARN 上运行 Flink用户 jars & Class
转载
2024-10-12 11:25:34
83阅读
