前言对于分布式系统的调试不知道大家有什么好的方法。对于我来说，在知道远程调试这个方法之前就是在代码中打各种log，然后重新部署，上线，调试，这样比较费时，有什么更好的办法呢？有时候，本地调试的时候没有问题，打包部署到测试环境的时候却爆出一堆莫名其妙的问题，这时该怎么办呢？偶然间了解到的远程调试的功能简直是一把利器，能够非常好地解决上述问题，还不赶紧来了解一下？远程调试使用特定JVM参数运行服务端代
一.题目如下 二.题目分析麻将和牌有两种形式，即:
模式1 :11,11,11,11,11,11,11
模式2: 11,123,123,123,123(全部或者部分123可以被111,1111替代）
注：123=连续3张同花色牌，如4D5D6D。111=3张同样的牌，如3T3T3T。
条=T，筒=D &nbs
一.
IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
介绍 Apache Flink 是一个开源的、统一的流处理和批处理框架。与这些框架中的任何一个一样，开始使用它可能是一个挑战。即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我总结了自从开始使用 Flink 以来我一直在写的一些笔记。如果 Flink 对你来说是新的东西，那么它很容易遵循。如果你已经是一个有经验
转载
2024-06-02 17:08:30
221阅读
一、条件断点 循环中经常用到这个技巧，比如：遍历1个大List的过程中，想让断点停在某个特定值。 参考上图，在断点的位置，右击断点旁边的小红点，会出来一个界面，在Condition这里填入断点条件即可，这样调试时，就会自动停在i=10的位置 二、回到"上一步" 该技巧最适合特别复杂的方法套方法的场景，好不容易跑起来，一不小心手一抖，断点过去了，想回过头
前言之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅
转载
2024-06-21 20:48:01
98阅读
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook
转载
2023-10-12 12:21:06
102阅读
Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。 所以学习下如何在Intellij IDEA中使用好Debug，主要包括如下内容： 一、Debug开篇 二、基本用法&快捷键 三、变量查看 四、计算表达式
插播背景在多个产品线上来回穿切换着开发功能，以前用Postman的场景是这样的:实际远远不止这几个文件夹来归类多个产品线的接口，Postman的功能非常强大，但是面对以下这些状况时，我觉得调试一个接口太麻烦了 （这里不讨论工具的好坏，工具是帮助我们提高效率的，每个人的需求也不一样，我只说明我个人遇到的一些情况，不喜请勿喷）查找配置多数要通过鼠标点来点去, 与习惯文本和快捷键操作的便捷方式违背调试别
1. 什么是 Debug？还记得以前不会使用 Intellij IDEA 的 debug 功能时，想要看什么数据都是在那行数据的下面一行加上 System.out.println()，然后运行程序，把数据打印出来，如果要看另一个数据，我就再加一行 System.out.println()，所以我的代码就会长的像下面这样……public User getMaleUser() {可
转载
2024-03-18 19:29:21
138阅读
文章目录前言安装插件配置插件选择版本添加配置文件在项目中应用checkstyle插件具体使用 前言当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用flink的checkst
转载
2024-04-03 12:56:33
81阅读
IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；环境信息电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3操作系统：macOS Catalina 10.15.3JDK：1.8.0_211Maven：3.6.0I
转载
2024-04-26 20:27:08
108阅读
Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。在Intellij IDEA中使用好Debug，主要包括如下内容：Debug开篇基本用法&快捷键变量查看计算表达式智能步入断点条件设置多线程调试回退断点中断Debug
转载
2024-05-09 20:45:23
455阅读
前置环境Hadoop集群必须部署完成，如果还没有搭建请先前往>>Hadoop全分布搭建笔记程序版本scala-2.11.8 flink-1.10.2-bin-scala_2.11组件介绍Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执个独立的开源框架行模型（streaming execution mod
转载
2024-09-14 10:05:34
129阅读
背景：最近公司需要引入flink相关框架做一些大数据报表分析的任务，之前没有实际接触过flink，所以需要学习一下。此外，防止看完就忘，也为了后续的回顾学习，因此在这里做一个整理，也希望帮助到有需要的朋友。环境准备：我这里是在自己的笔记本上搭建的环境VMware 安装centos7虚拟机 并配置好网络等win10安装idea 并配置maven(要求3.0以上，我用的3.6.2)flink-1.7.
转载
2023-12-21 17:18:45
258阅读
作业调度这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态调度Flink 通过 Task Slots 来定义执行资源。每个 TaskManager 有一到多个 task slot，每个 task slot 可以运行一条由多个并行 task 组成的流水线。 这样一条流水线由多个连续的 task 组成，比如并行度为 n 的 MapFunction 和 并
转载
2024-03-15 11:18:26
71阅读
Flink 运行时架构 文章目录Flink 运行时架构一、系统架构1. 作业管理器（JobManager）2. 任务管理器（TaskManager）二、作业提交流程1. 高层级抽象2. 独立模式（Standalone）3. YARN 集群三、一些重要概念1. 数据流图（Dataflow Graph）2. 并行度（Parallelism）3. 算子链（Operator Chain）4. 作业图（Jo
转载
2024-03-19 07:40:55
65阅读
.一 .前言二 .名词解释2.1. StreamGraph2.2. JobGraph2.3. ExecutionGraph2.4. 物理执行图二 .Flink 四层转化流程2.1. Program 到 StreamGraph 的转化2.2. StreamGraph 到 JobGraph 的转化2.3. JobGraph 到 ExexcutionGraph 以及物理执行计划 一 .前言Flink
//导入隐式转换的类import org.apache.flink.api.scala._#启动Flink集群$FLINK_HOME/bin/start-cluster.sh#关闭Flink集群$FLINK_HOME/bin/stop-cluster.sh#修改配置文件vim $FLINK_HOME/conf/flink-conf.yaml#直接执行命令提交任务$FLINK_HOME/bin/fl
1、首先我使用的Flink版本Flink1.12.02、出现错误场景在进行Flink和Hive（3.1.2）版本进行集成，通过sql-client.sh embedded来执行（select * from emp）语句时出现此错误信息---> 报错信息---> 分析org.apache.flink.util.FlinkException: Could not upload job fi
转载
2024-03-31 08:27:28
232阅读
