插播背景在多个产品线上来回穿切换着开发功能，以前用Postman的场景是这样的:实际远远不止这几个文件夹来归类多个产品线的接口，Postman的功能非常强大，但是面对以下这些状况时，我觉得调试一个接口太麻烦了 （这里不讨论工具的好坏，工具是帮助我们提高效率的，每个人的需求也不一样，我只说明我个人遇到的一些情况，不喜请勿喷）查找配置多数要通过鼠标点来点去, 与习惯文本和快捷键操作的便捷方式违背调试别
介绍 Apache Flink 是一个开源的、统一的流处理和批处理框架。与这些框架中的任何一个一样，开始使用它可能是一个挑战。即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我总结了自从开始使用 Flink 以来我一直在写的一些笔记。如果 Flink 对你来说是新的东西，那么它很容易遵循。如果你已经是一个有经验
转载
2024-06-02 17:08:30
221阅读
一.
IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
一、条件断点 循环中经常用到这个技巧，比如：遍历1个大List的过程中，想让断点停在某个特定值。 参考上图，在断点的位置，右击断点旁边的小红点，会出来一个界面，在Condition这里填入断点条件即可，这样调试时，就会自动停在i=10的位置 二、回到"上一步" 该技巧最适合特别复杂的方法套方法的场景，好不容易跑起来，一不小心手一抖，断点过去了，想回过头
前言之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅
转载
2024-06-21 20:48:01
98阅读
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook
转载
2023-10-12 12:21:06
102阅读
Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。 所以学习下如何在Intellij IDEA中使用好Debug，主要包括如下内容： 一、Debug开篇 二、基本用法&快捷键 三、变量查看 四、计算表达式
前言对于分布式系统的调试不知道大家有什么好的方法。对于我来说，在知道远程调试这个方法之前就是在代码中打各种log，然后重新部署，上线，调试，这样比较费时，有什么更好的办法呢？有时候，本地调试的时候没有问题，打包部署到测试环境的时候却爆出一堆莫名其妙的问题，这时该怎么办呢？偶然间了解到的远程调试的功能简直是一把利器，能够非常好地解决上述问题，还不赶紧来了解一下？远程调试使用特定JVM参数运行服务端代
文章目录前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用 前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checkst
转载
2024-04-03 12:56:33
81阅读
IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3操作系统：macOS Catalina 10.15.3JDK：1.8.0_211Maven：3.6.0I
转载
2024-04-26 20:27:08
108阅读
Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。在Intellij IDEA中使用好Debug，主要包括如下内容：Debug开篇基本用法&快捷键变量查看计算表达式智能步入断点条件设置多线程调试回退断点中断Debug
转载
2024-05-09 20:45:23
455阅读
前置环境Hadoop集群必须部署完成，如果还没有搭建请先前往>>Hadoop全分布搭建笔记程序版本scala-2.11.8 flink-1.10.2-bin-scala_2.11组件介绍Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执个独立的开源框架行模型（streaming execution mod
转载
2024-09-14 10:05:34
129阅读
背景：最近公司需要引入flink相关框架做一些大数据报表分析的任务，之前没有实际接触过flink，所以需要学习一下。此外，防止看完就忘，也为了后续的回顾学习，因此在这里做一个整理，也希望帮助到有需要的朋友。环境准备：我这里是在自己的笔记本上搭建的环境VMware 安装centos7虚拟机 并配置好网络等win10安装idea 并配置maven(要求3.0以上，我用的3.6.2)flink-1.7.
转载
2023-12-21 17:18:45
258阅读
//导入隐式转换的类import org.apache.flink.api.scala._#启动Flink集群$FLINK_HOME/bin/start-cluster.sh#关闭Flink集群$FLINK_HOME/bin/stop-cluster.sh#修改配置文件vim $FLINK_HOME/conf/flink-conf.yaml#直接执行命令提交任务$FLINK_HOME/bin/fl
Task 是 Flink 的基本执行单元。算子的每个并行实例都在 task 里执行。例如，一个并行度为 5 的算子，它的每个实例都由一个单独的 task 来执行。StreamTask 是 Flink 流式计算引擎中所有不同 task 子类的基础。本文会深入讲解 StreamTask 生命周期的不同阶段，并阐述每个阶段的主要方法。算子生命周期简介因为 task 是算子并行实例的执行实体，所以它的生命
转载
2024-03-19 19:53:53
0阅读
目录1. 基本概念2. Flink 数据流2.1 并行数据流2.2 如何划分 TASK 的依据2.3 如何计算 TASK 和 SUBTASK 个数2.4 Demo2.4.1 Code2.4.2 提交 jar 1. 基本概念Task(任务)：Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。subTask(子任务)：subTask 是 Flink
转载
2024-01-12 06:28:04
73阅读
Flink个人学习整理-核心知识篇（二）一、Flink运行架构 二、核心概念1、TaskManager与SlotsTaskManager与Slots之间，不会涉及CPU的隔离。 slots间：核心共用，内存不共用2、Task 与 SubTask一个算子就是一个Task，算子的并行度是多少，就有多少个SubTask3、Parallelism（并行度）一个特定算子的子任务（SubTask）的个数被称之
转载
2024-03-20 22:23:48
91阅读
文章目录官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考# https://ci.apache.org/projects/flink/flink-
转载
2024-02-09 10:38:33
78阅读
Flink常见异常错误总结背景异常信息总结异常1：local class incompatible异常2：Failure opening selector异常3：The TaskExecutor is shutting down.异常4：Cannot instantiate user function.异常5：The RemoteEnvironment cannot be instantiate
Flink Streaming SQL0.核心概念0.1 流 VS 表0.2 动态表0.3 流表⼆像性1.处理流程1.1流转换为动态表1.1.1 追加模式1.1.2 更新模式1.2 动态表的查询1.2.1 连续查询1.2.3 动态表转换为流2. Flink Stream SQL 编程2.1 开发流程2.2 TableEnvironment2.3 Catalog2.4 数据类型2.5 TableS
转载
2024-06-21 09:48:56
31阅读
