昨天去TW参加了pre class，就是类似于新员工入职前的培训，有很多很cool的东西，给我印象最深的就是IntelliJ IDEA了（coder么。。。）刚才在网上搜了搜，发现很少有她的介绍资料，所以贴过来一个让大家看看。文章中有一句话值得大家注意：”IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、
可能会有一些截图中会有错误提示，是因为本地的包一直包下载有问题，截完图已经下载好了。创建包结构 创建一个基础信息类所有输出到mysql数据库中的自定义MR任务的自定义key均需要实现该抽象类 代码内容，主要是实现org.apache.hadoop.io.WritableComparable类，其它不需要写 创建平台信息类 创建全局配置常数类
转载
2024-03-25 20:41:23
382阅读
最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就是那个界面。。。。这个工具不是Flink官方出的，是一个国内的小伙伴写的，Github地址：https://github.com/zhp8341/flink-streaming-platfor
转载
2023-07-11 17:34:48
424阅读
Flink 双流Join概述在之前的Flink教程03里面给大家讲过了维表Join，今天来和大家分享一下双流Join目前Flink双流Join分成两类：UnBounded Join 和 Time Interval Join在有些场景下，用哪个都行，不过后者的性能会优于前者，而且如果在双流Join之后想要再进行窗口计算，那么只能使用Time Interval Join，目前的UnBounded Jo
转载
2023-09-23 08:33:40
438阅读
flink1.11的blink planner数据流向：csv->mysql->flink流加工->mysql工程目录StreamSql类。单纯用flinkSql做数据处理。package com.test.demo02_table;
import com.test.demo02_table.Sensor;
import org.apache.flink.api.common.
转载
2024-03-17 10:03:08
28阅读
Git对本地代码管理及提交一、 下载安装git下载地址 https://git-scm.com/downloads安装过程 直接安装即可二、 配置git1.在本地新建一个文件夹 2.在文件夹内右键选择Git Bas Here初始化名字和邮箱 这是去全局操，操作一次即可!初始化本地版本库 此时，工作空间下出现了.git文件三、 提交代码1添加文件 此时在此工作空间下新建一个txt，控制台输入 git
使用idea开发flink报错，就是普通的读取文本内容，进行单词计数。scala版本是2.11.12，flink是1.8.1报错信息如下：Exceptioninthread“main”java.lang.NoSuchMethodError:akka.actor.ActorSystemImpl.(Ljava/lang/String;Lcom/typesafe/config/Config;Ljava/
原创
2020-03-19 22:50:39
4516阅读
# 使用 Docker 搭建 Flink 开发环境
## 引言
Flink 是一种开源的流处理框架，具有高吞吐量和低延迟的特点，常用于处理大规模的实时数据。在开发 Flink 的应用程序时，我们需要搭建一个适合的开发环境来进行代码的编写、测试和调试。本文将介绍如何使用 Docker 搭建 Flink 的开发环境，并提供一个示例来演示如何在环境中开发一个简单的 Flink 应用程序。
## 准
原创
2023-10-10 11:22:39
108阅读
Git对本地代码管理及提交一、 下载安装git下载地址 https://git-scm.com/downloads安装过程 直接安装即可二、 配置git1.在本地新建一个文件夹 2.在文件夹内右键选择Git Bas Here初始化名字和邮箱 这是去全局操，操作一次即可!初始化本地版本库 此时，工作空间下出现了.git文件三、 提交代码1添加文件 此时在此工作空间下新建一个txt，控制台输入 git
这是我毕业设计项目中的一个模块，后面会提供源码1 数据链路图这个模块做的是实时统计用户每10分钟内的搜索次数，也就是10分钟级别的搜索频率。用户搜索时，服务端会把搜索数据发送的Kafka中。直接看Flink的部分吧，这部分做的事情就是消费Kafka中的数据然后基于Event Time（事件时间）的10分钟级别的滚动窗口统计搜索次数。然后将结果集sink到mysql中。这个功能实现起来还是比较简单的
转载
2024-02-04 07:13:42
243阅读
1评论
了解了Flink的基本原理和运行框架，本节我们尝试搭建Flink开发环境，由于Flink从1.10版本开始，在Windows系统上存在运行问题，且Flink官方也将各种Windows版本的Flink工具脚本从开发包中删除，因此本文主要基于Mac（Linux）操作系统搭建Flink开发环境。主要步骤包括：下载 && 安装JDK 1.8下载 && 安装Maven下载 &
转载
2023-07-28 11:42:23
175阅读
一、安装 Scala 插件Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings => plugins 打开插件安装页面，搜索 Scala 插件并进行安装，安装完成后，重
转载
2024-07-18 21:36:09
406阅读
长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：Application Mode。本文先回顾两种传统模式的做法与存在的问题，再简要介绍Application Mode。传统部署模式 Session模式 Session模式是预分配资源的，也就是提前根据指定的资源参数初始化一个Fli
转载
2024-02-12 20:05:09
46阅读
对于熟悉Maven操作的读者来说，可以象上一节讲的那样，先在命令行用Maven命令快速生成Flink基本程序框架，然后导入到IDE中进一步开发。如果读者更熟悉IDE（例如，IntelliJ IDEA）的话，那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具，我们可以方便快速地开发Flink项目。一、在Intell
转载
2024-05-08 12:17:37
434阅读
前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checks
转载
2024-06-22 21:53:07
191阅读
一.
IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
介绍 Apache Flink 是一个开源的、统一的流处理和批处理框架。与这些框架中的任何一个一样，开始使用它可能是一个挑战。即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我总结了自从开始使用 Flink 以来我一直在写的一些笔记。如果 Flink 对你来说是新的东西，那么它很容易遵循。如果你已经是一个有经验
转载
2024-06-02 17:08:30
221阅读
步骤列表本次实战经历以下步骤：创建应用；编码；构建；提交任务到Flink，验证功能；环境信息Flink：1.7；Flink所在机器的操作系统：CentOS Linux release 7.5.1804；开发环境JDK：1.8.0_181；开发环境Maven：3.5.0；应用功能简介SocketWindowWordCount.jar，实现的功能是从socket读取字符串，将其中的每个单词的数量统计出
转载
2024-03-22 21:11:21
123阅读
# 使用 Hive SQL 进行数据分析的入门指南
在大数据时代，数据分析变得至关重要，尤其是在处理海量数据时，Hive SQL 作为一种分布式数据仓库解决方案，通过 Hadoop 来简化对结构化数据的查询。本文将为大家介绍 Hive SQL 的基本概念及其使用方法，并辅以代码示例帮助读者更好地理解。
## Hive SQL 简介
Apache Hive 是一个数据仓库工具，可以在 Hado
在本文中，我们将要追踪“idea怎么提交Flink SQL到Yarn”的问题。Flink是一个流式数据处理框架，通常运行在Yarn等资源管理器上。很多开发者在使用IntelliJ IDEA开发Flink SQL时，常常会面临将代码提交到Yarn而产生的一系列问题。因此，记录下这个过程中遇到的问题及解决方案，将对后续开发过程大有裨益。
## 问题背景
在使用IntelliJ IDEA开发Flin
