之前使用 PHPDocument 生成过开发文档，但是界面看着不爽，遂尝试了 ApiGen 生成，不得不说界面看着舒服多了，下面说说安装和使用的方法。ApiGen官网: http://www.apigen.org/一、从 github 获取 Windows 的安装包https://github.com/apigen/apigen/downloads选择 Version x.x.x sta
在之前的文章中，我们介绍了Flink的安装部署、基础概念，今天我们来一起学习Flink的核心之一DataStream API。01 分布式流处理基础上图中，我们将整个代码分为了三个部分，即分布式流处理的基本模型：SourceTransformationSink从而，我们可以给出Flink编程框架：// 1. 获取运行环境
final StreamExecutionEnvironment env =
转载
2024-03-01 15:13:50
454阅读
win10搭建c语言开发环境在window10上面用MingW搭建编写C语言的环境1、下载Mingw（下载页面自行搜索），开始安装，安装路径自行选择2、点击‘continue’,出现如下图，3、稍微等待一会，出现如下图界面：选择4项，然后点击‘installation’-->'apply changes'-->'apply',然后就请等待几分钟（网速快的话，时间会比较短）4、完成以后
转载
2024-07-16 08:25:33
41阅读
# Windows Docker Flink开发环境
在进行大数据处理和流式计算时，Apache Flink是一款非常优秀的开源框架。为了方便开发和部署Flink应用程序，我们可以利用Docker来创建一个Flink开发环境。
## Docker简介
Docker是一种容器化技术，可以轻松打包、发布和运行任何应用程序。在Windows操作系统上，我们可以使用Docker Desktop来管理
原创
2024-03-12 05:18:41
164阅读
Git对本地代码管理及提交一、 下载安装git下载地址 https://git-scm.com/downloads安装过程 直接安装即可二、 配置git1.在本地新建一个文件夹 2.在文件夹内右键选择Git Bas Here初始化名字和邮箱 这是去全局操，操作一次即可!初始化本地版本库 此时，工作空间下出现了.git文件三、 提交代码1添加文件 此时在此工作空间下新建一个txt，控制台输入 git
Git对本地代码管理及提交一、 下载安装git下载地址 https://git-scm.com/downloads安装过程 直接安装即可二、 配置git1.在本地新建一个文件夹 2.在文件夹内右键选择Git Bas Here初始化名字和邮箱 这是去全局操，操作一次即可!初始化本地版本库 此时，工作空间下出现了.git文件三、 提交代码1添加文件 此时在此工作空间下新建一个txt，控制台输入 git
在使用flink进行应用开发的时候，通常都是将开发的应用程序，提交到flink集群中，但是这样对应用程序开发调试很不方便，所谓磨刀不误砍柴工，下面我整理一个在mac上使用idea开发flink程序的配置教程，具体如下。核心依赖配置添加flink应用程序开发必要的依赖：<dependency>
<groupId>org.apache.flink</groupId
转载
2023-10-24 09:19:41
106阅读
使用Flink的SQL Gateway迁移Hive SQL任务前言我们有数万个离线任务，主要还是默认的DataPhin调度CDP集群的Hive On Tez这种低成本任务，当然也有PySpark、打Jar包的Spark和打Jar包的Flink任务这种高成本的任务【Java和Scala都有】。毕竟SQL上手门槛极低，是个人都能写几下并且跑起来，还可以很容易看到run成功的数据长得像不像。其实HQL任
目录本地模式(local)搭建下载flink安装包上传至虚拟机并解压配置环境变量启动flink并测试集群(standalone)模式搭建配置flink-conf.yaml和workers文件flink-conf.yaml文件workers文件masters文件分发集群启动flink集群启动jps查看进程测试集群!!!碰到的坑 本地模式(local)搭建下载flink安装包https://down
转载
2024-06-19 20:02:53
650阅读
一、Flink 自带的 windowFlink DataStream API 提供了 Time 和 Count 的 window，同时增加了基于 Session 的 window。同时，由于某些特殊的需要，DataStream API 也提供了定制化的 window 操作，供用户自定义 window。下面，主要介绍 Time-Based window 以及 Count-Based window，以
转载
2024-03-30 07:54:52
27阅读
内置方法 WindowedStream通过 KeyedStream 可以直接创建 Count Window和 Time Window。他们最终都是基于 window(WindowAssigner)方法创建，在window方法中创建 WindowedStream实例，参数使用当前的 KeyedStream对象和指定的 WindowAssigner。def window[W <: Wi
转载
2024-03-21 22:29:41
33阅读
# Java版Flink在Windows开发环境中的搭建
Apache Flink 是一个开源的流处理框架，广泛应用于大数据领域，其强大的实时数据处理能力和满意的性能，使其成为开发现代数据驱动应用的理想选择。本文将详细介绍如何在Windows环境下搭建Java版Flink的开发环境，并用代码示例帮助大家理解。
## 一、环境准备
### 1. 安装Java JDK
Flink是用Java实
一、Apache Flink 的定义、架构及原理官方文档:Apache Flink 是一个分布式流批一体化的开源平台。Flink 的核心是一个提供数据分发、通信以及自动容错的流计算引擎。Flink 在流计算之上构建批处理，并且原生的支持迭代计算，内存管理以及程序优化。Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对
转载
2024-02-20 22:36:33
68阅读
在现代的数据处理中，实时计算已经成为越来越重要的一环。Apache Flink 是一个基于流式数据的分布式计算引擎，具有高性能、可靠性和可伸缩性。而在实际生产环境中，我们需要将 Flink 应用程序部署到 Kubernetes（简称 K8S）集群中来实现对应用程序的管理和资源分配。本文将详细介绍如何在 K8S 上部署 Flink 应用程序，并以 Flink 窗口窗口操作为例展示整个过程。
**
原创
2024-05-16 12:16:53
129阅读
## 实现 Windows Docker Flink
作为一名经验丰富的开发者，我很高兴能够教会你如何在 Windows 上使用 Docker 来部署 Flink。下面是整个过程的步骤流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装 Docker |
| 2 | 下载 Flink 镜像 |
| 3 | 创建 Flink 容器 |
| 4 | 配置 Flink 容
原创
2024-01-14 04:17:35
99阅读
1、windows使用chrome调试ios webView（缺点：装很多东西 还会有各种报错 需要 对chrome的版本也有要求） 目前这种方法未能实现1、window使用chrome调试ios设备的H5页面（Safari和APP）**1：用管理员身份打开PowerShell，不同操作系统打开方式不太一样，win10的话在搜索栏搜索就能找到 2：查看PowerShell版本：需要大于5.
转载
2024-07-10 14:52:17
87阅读
connect. Use this flag to connect to a
different JobManager than the one specified
in the configuration. Attention: This
1）Global Window 和 Key Windows 在运用窗口计算时，Flink根据上游数据集是否为 KeyStream 类型，对应的 Windows 也会有所不同。※ Keyed Window：上游数据集如果是 KeyedStream 类型，则调用 DataStream API的 window() 方法，数据会根据 Key 在不同的 Task 实例中并行分别计算，最后得出针对每个 Ke
转载
2024-04-24 14:02:28
50阅读
目的:学习Flink的基本使用方法掌握在一般使用中需要注意的事项 手把手的过程中会讲解各种问题的定位方法，相对啰嗦，内容类似结对编程。大家遇到什么问题可以在评论中说一下，我来完善文档 这里不在讲解基本的环境搭建过程，基本环境搭建过程，大家参见： 手把手开发Flink程序-基础现在我们将做一个新的Flink程序，目标是提供一批100以内随机数字，计算数字中的奇偶数个数
转载
2024-05-13 23:23:54
93阅读
步骤列表本次实战经历以下步骤：创建应用；编码；构建；提交任务到Flink，验证功能；环境信息Flink：1.7；Flink所在机器的操作系统：CentOS Linux release 7.5.1804；开发环境JDK：1.8.0_181；开发环境Maven：3.5.0；应用功能简介SocketWindowWordCount.jar，实现的功能是从socket读取字符串，将其中的每个单词的数量统计出
转载
2024-05-16 13:14:58
48阅读
