一.
IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
介绍 Apache Flink 是一个开源的、统一的流处理和批处理框架。与这些框架中的任何一个一样，开始使用它可能是一个挑战。即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我总结了自从开始使用 Flink 以来我一直在写的一些笔记。如果 Flink 对你来说是新的东西，那么它很容易遵循。如果你已经是一个有经验
转载
2024-06-02 17:08:30
221阅读
一、条件断点 循环中经常用到这个技巧，比如：遍历1个大List的过程中，想让断点停在某个特定值。 参考上图，在断点的位置，右击断点旁边的小红点，会出来一个界面，在Condition这里填入断点条件即可，这样调试时，就会自动停在i=10的位置 二、回到"上一步" 该技巧最适合特别复杂的方法套方法的场景，好不容易跑起来，一不小心手一抖，断点过去了，想回过头
前言之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅
转载
2024-06-21 20:48:01
98阅读
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook
转载
2023-10-12 12:21:06
102阅读
前言对于分布式系统的调试不知道大家有什么好的方法。对于我来说，在知道远程调试这个方法之前就是在代码中打各种log，然后重新部署，上线，调试，这样比较费时，有什么更好的办法呢？有时候，本地调试的时候没有问题，打包部署到测试环境的时候却爆出一堆莫名其妙的问题，这时该怎么办呢？偶然间了解到的远程调试的功能简直是一把利器，能够非常好地解决上述问题，还不赶紧来了解一下？远程调试使用特定JVM参数运行服务端代
插播背景在多个产品线上来回穿切换着开发功能，以前用Postman的场景是这样的:实际远远不止这几个文件夹来归类多个产品线的接口，Postman的功能非常强大，但是面对以下这些状况时，我觉得调试一个接口太麻烦了 （这里不讨论工具的好坏，工具是帮助我们提高效率的，每个人的需求也不一样，我只说明我个人遇到的一些情况，不喜请勿喷）查找配置多数要通过鼠标点来点去, 与习惯文本和快捷键操作的便捷方式违背调试别
Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。 所以学习下如何在Intellij IDEA中使用好Debug，主要包括如下内容： 一、Debug开篇 二、基本用法&快捷键 三、变量查看 四、计算表达式
文章目录前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用 前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checkst
转载
2024-04-03 12:56:33
81阅读
IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3操作系统：macOS Catalina 10.15.3JDK：1.8.0_211Maven：3.6.0I
转载
2024-04-26 20:27:08
108阅读
Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。在Intellij IDEA中使用好Debug，主要包括如下内容：Debug开篇基本用法&快捷键变量查看计算表达式智能步入断点条件设置多线程调试回退断点中断Debug
转载
2024-05-09 20:45:23
455阅读
前置环境Hadoop集群必须部署完成，如果还没有搭建请先前往>>Hadoop全分布搭建笔记程序版本scala-2.11.8 flink-1.10.2-bin-scala_2.11组件介绍Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执个独立的开源框架行模型（streaming execution mod
转载
2024-09-14 10:05:34
129阅读
背景：最近公司需要引入flink相关框架做一些大数据报表分析的任务，之前没有实际接触过flink，所以需要学习一下。此外，防止看完就忘，也为了后续的回顾学习，因此在这里做一个整理，也希望帮助到有需要的朋友。环境准备：我这里是在自己的笔记本上搭建的环境VMware 安装centos7虚拟机 并配置好网络等win10安装idea 并配置maven(要求3.0以上，我用的3.6.2)flink-1.7.
转载
2023-12-21 17:18:45
258阅读
//导入隐式转换的类import org.apache.flink.api.scala._#启动Flink集群$FLINK_HOME/bin/start-cluster.sh#关闭Flink集群$FLINK_HOME/bin/stop-cluster.sh#修改配置文件vim $FLINK_HOME/conf/flink-conf.yaml#直接执行命令提交任务$FLINK_HOME/bin/fl
一、条件断点循环中经常用到这个技巧，比如：遍历1个大List的过程中，想让断点停在某个特定值 参考上图，在断点的位置，右击断点旁边的小红点，会出来一个界面，在Condition这里填入断点条件即可，这样调试时，就会自动停在i=10的位置 二、回到"上一步"该技巧最适合特别复杂的方法套方法的场景，好不容易跑起来，一不小心手一抖，断点过去了，想回过头看看刚才的变量值，
before flink1.13 可参考，已经实际操作成功 <Flink入门篇-编译源码（上） 文章目录准备忽略重构提交IntelliJ IDEA导入flinkCopyright ProfileRequired PluginsCode FormattingCheckstyle For JavaCheckstyle For ScalaPython for PyFlink问题 本文主要参照于官
自己写着玩的时候遇到的问题在此整理一下，要能捎带手帮各位看官解了惑那真是倍感荣幸，Flink版本1.12.0 IDEA调试Flink任务FAQIDEA调试Flink任务时需要WebUI1.问题描述2.原因定位3.解决方法IDEA调试FLink任务时想看运行日志1.问题描述2.原因定位3.解决方法checkpoint失败1.问题描述2.原因定位3.解决方法 IDEA调试Flink任务时需要WebUI
转载
2024-02-23 23:13:41
0阅读
MiniClusterStandaloneyarnyarn sessionyarn per jobapplication模式k8s其他MiniCluster这种模式我们一般是在用IDE调试程序的时候用到,当我们在本地用IDE开发程序的时候，执行main方法，flink会在本地启动一个包含jobmanager和taskmanager的进程的minicluster，程序运行完成之后，这个cluster
转载
2024-07-19 16:28:01
216阅读
对于熟悉Maven操作的读者来说，可以象上一节讲的那样，先在命令行用Maven命令快速生成Flink基本程序框架，然后导入到IDE中进一步开发。如果读者更熟悉IDE（例如，IntelliJ IDEA）的话，那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具，我们可以方便快速地开发Flink项目。一、在Intell
转载
2024-05-08 12:17:37
434阅读
前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checks
转载
2024-06-22 21:53:07
191阅读
