去年11月的 Flink Forward Asia 2019 上Flink 社区提出了未来发展的几个主要方向，其中之一就是拥抱AI [1]。
实际上，近年来AI 持续火热，各种计算框架、模型和算法层出不穷，从某种角度上来说，这个赛道已经有些拥挤了。
在这种情况下， Flink将怎样拥抱AI，又会为用户带来什么新的价值？
Flink AI 的优劣势分别在哪里？
本文将通
转载
2024-07-30 16:35:28
57阅读
在处理大数据处理时，Apache Spark 是一个备受推崇的分布式计算框架。然而，在实际的开发和运维过程中，远程调试 Spark 应用程序可能会遇到各种问题。在这篇文章中，我将记录在远程调试 Spark 时遇到的一些挑战，以帮助开发者更好地进行调试。
## 问题背景
在一个大型数据处理项目中，我们的团队使用 Spark 进行数据分析。有时，应用程序需要在集群上运行，而不是本地测试。由于集群环
MiniClusterStandaloneyarnyarn sessionyarn per jobapplication模式k8s其他MiniCluster这种模式我们一般是在用IDE调试程序的时候用到,当我们在本地用IDE开发程序的时候，执行main方法，flink会在本地启动一个包含jobmanager和taskmanager的进程的minicluster，程序运行完成之后，这个cluster
转载
2024-07-19 16:28:01
216阅读
IDEA基本调试步骤版本IntelliJ IDEA 2020.1 x64 操作系统 Windows10 64位步骤先上一段代码，求解如下问题，因为涉及了循环，判断等，可以用于调试 问题：寻找某两个数相除，其结果 离黄金分割点 0.618最近分母和分子不能同时为偶数 分母和分子 取值范围在[1-20]public class GoldRate {
static double rate =
转载
2024-05-05 17:09:33
180阅读
前言之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅
转载
2024-06-21 20:48:01
98阅读
点击这里查看 Flink 1.13 源码解析 目录汇总点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程概览点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程 WebMonitorEndpoint启动点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程之ResourceManager启动目录一、前言：二、Dis
转载
2024-05-08 17:31:42
100阅读
一、条件断点 循环中经常用到这个技巧，比如：遍历1个大List的过程中，想让断点停在某个特定值。 参考上图，在断点的位置，右击断点旁边的小红点，会出来一个界面，在Condition这里填入断点条件即可，这样调试时，就会自动停在i=10的位置 二、回到"上一步" 该技巧最适合特别复杂的方法套方法的场景，好不容易跑起来，一不小心手一抖，断点过去了，想回过头
本文主要是讲讲flink的源码编译，案例运行，源码调试过程。
原创
2021-07-23 17:11:53
571阅读
1、windows使用chrome调试ios webView（缺点：装很多东西 还会有各种报错 需要 对chrome的版本也有要求） 目前这种方法未能实现1、window使用chrome调试ios设备的H5页面（Safari和APP）**1：用管理员身份打开PowerShell，不同操作系统打开方式不太一样，win10的话在搜索栏搜索就能找到 2：查看PowerShell版本：需要大于5.
转载
2024-07-10 14:52:17
87阅读
一.IDEA开发环境1.pom文件设置 <properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<enc
转载
2024-04-23 14:39:10
138阅读
介绍 Apache Flink 是一个开源的、统一的流处理和批处理框架。与这些框架中的任何一个一样，开始使用它可能是一个挑战。即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我总结了自从开始使用 Flink 以来我一直在写的一些笔记。如果 Flink 对你来说是新的东西，那么它很容易遵循。如果你已经是一个有经验
转载
2024-06-02 17:08:30
221阅读
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。什么是window在流式数据中，数据是连续的。有时我们需要根据业务做一些聚合类的操作，例如过去五分钟内用户浏览量的计算。这五分钟就是一个窗口。 窗口
转载
2024-03-18 08:56:56
4阅读
前言对于分布式系统的调试不知道大家有什么好的方法。对于我来说，在知道远程调试这个方法之前就是在代码中打各种log，然后重新部署，上线，调试，这样比较费时，有什么更好的办法呢？有时候，本地调试的时候没有问题，打包部署到测试环境的时候却爆出一堆莫名其妙的问题，这时该怎么办呢？偶然间了解到的远程调试的功能简直是一把利器，能够非常好地解决上述问题，还不赶紧来了解一下？远程调试使用特定JVM参数运行服务端代
前言Flink 是流式的、实时的 计算引擎上面一句话就有两个概念，一个是流式，一个是实时。流式：就是数据源源不断的流进来，也就是数据没有边界，但是我们计算的时候必须在一个有边界的范围内进行，所以这里面就有一个问题，边界怎么确定？ 无非就两种方式，根据时间段或者数据量进行确定，根据时间段就是每隔多长时间就划分一个边界，根据数据量就是每来多少条数据划分一个边界，Flink 中就是这么划分边界的，本文会
Spring源码构建坑,直接导入idea,使用gradle构建报错1.首先报错:Compilation failed; see the compiler error output for details.2.然后输入gradlew build --info ,查看到以下报错信息:符号: 类 TaskProvider
位置: 程序包 org.gradle.api.tasks
E:\workspace
转载
2024-07-08 22:04:19
102阅读
摘要：本文为 RocketMQ Flink Catalog 使用指南。主要内容包括：Flink 和 Flink CatalogRocketMQ Flink ConnectorRocketMQ Flink CatalogTips：点击「阅读原文」查看更多技术内容～01Flink 和 Flink CatalogFlink 是一个分布式计算引擎，目前已经实现批流一体，可以实现对有界数
转载
2024-09-18 12:11:14
40阅读
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>微信JS-SDK</title>
</head>
<body>
<script src="{{ asset('js/jquery-1.11.2.m
插播背景在多个产品线上来回穿切换着开发功能，以前用Postman的场景是这样的:实际远远不止这几个文件夹来归类多个产品线的接口，Postman的功能非常强大，但是面对以下这些状况时，我觉得调试一个接口太麻烦了 （这里不讨论工具的好坏，工具是帮助我们提高效率的，每个人的需求也不一样，我只说明我个人遇到的一些情况，不喜请勿喷）查找配置多数要通过鼠标点来点去, 与习惯文本和快捷键操作的便捷方式违背调试别
Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。 所以学习下如何在Intellij IDEA中使用好Debug，主要包括如下内容： 一、Debug开篇 二、基本用法&快捷键 三、变量查看 四、计算表达式
一.题目如下 二.题目分析麻将和牌有两种形式，即:
模式1 :11,11,11,11,11,11,11
模式2: 11,123,123,123,123(全部或者部分123可以被111,1111替代）
注：123=连续3张同花色牌，如4D5D6D。111=3张同样的牌，如3T3T3T。
条=T，筒=D &nbs
