目录JavaFlink原理、实战、源码分析（一）JavaFlink原理、实战、源码分析（三）第五章 Flink 流处理 API5.1 Environment 5.1.2 createLocalEnvironment5.1.3 createRemoteEnvironment5.2 Source5.2.1 从集合读取数据5.3 Transform5.3.1map5.3.2 KeyBy&nbs
转载
2024-06-02 10:14:57
448阅读
当前开发环境：eclipse、JDK1.8、Apache Flink1.13.01.声明当前内容主要为本人学习，内容主要来源官方文档当前内容主要为使用maven方式创建基于官方欺诈检测的demo修改数据来源为：随机数自定义的Sink来处理收集数据将maven项目打包并上传到flink中并执行查看最后的数据2.按照官方方式创建maven项目并实现修改1.使用官方命令方式创建maven项目(没有换行)
转载
2023-07-11 18:39:08
292阅读
在本文中，我们将从零开始，教您如何构建第一个Apache Flink （以下简称Flink）应用程序。开发环境准备Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序，在本地机器上需要有 Java 8.x 和 maven 环境。
如果有 Java 8 环境，运行下面的命令会输出如下版本信息：$ java -versionjava ve
转载
2024-04-25 06:36:02
24阅读
# Flink Java入门demo
## 概述
在本文中，我们将介绍Flink的基础概念和使用方法，并通过一个Java入门demo来演示Flink的应用。Flink是一个开源的流处理和批处理框架，它提供了高效、可靠、可扩展的数据流处理和数据批处理的能力。本文将通过一个简单的示例来展示如何使用Flink来处理数据流。
## Flink的基础概念
在开始编写Flink应用之前，我们需要了解一
原创
2023-08-27 05:43:04
271阅读
# 实现 Flink CDC Java Demo
## 简介
在本文中，我将演示如何使用 Flink CDC（Change Data Capture）实现一个简单的 Java Demo。Flink CDC 是 Apache Flink 的一个功能模块，用于捕获和处理数据库的变化数据。我们将使用 Flink CDC 将变化数据从 MySQL 数据库捕获并实时处理。
## 流程概述
下表展示了整个
原创
2023-09-19 14:15:27
289阅读
# Java Flink MongoDB Demo
## Introduction
Apache Flink is a powerful open-source stream processing framework that provides robust data processing capabilities. MongoDB is a popular NoSQL database tha
原创
2024-01-21 03:53:22
24阅读
main:package com;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStream
转载
2024-07-24 19:45:36
151阅读
1. 引言笔者早年间有很长一段时间都在阿里云DataWorks上带着团队进行数据开发，后来因为一个契机自己搞起了大数据平台XSailboat。刚开始开发平台的主要的数据开发能力是基于DAG图的可视化离线分析开发和运维。后来手头有一个项目需要使用流式计算功能，所以就想把Flink也引入到XSailboat。引入进来以后，它应该至少起以下作用：降低Flink计算任务开发的门槛。因为现在小公司做服务型项
原理分析：原始订单数据 》 Flink CDC(其实可以做简单的维表Join) 》 Kafka(ODS) 本身存储30h 消费 Kafka ODS 的数据: 累加窗口：(1 MINUTE,1 DAY) 按照1分钟划分窗口，每分钟计算当前分钟的数据 merge 当前分钟的前一分钟的数据结果 按照 订单数据事件时间+水位线 进行窗口触发执行得到的结果其实就是当天的累计值cumulate window
转载
2024-01-29 01:10:25
43阅读
# 使用 Apache Flink 写入 HDFS 的简单示例
Apache Flink 是一个用于大规模数据处理的开源流处理框架，由于其高吞吐量和低延迟的特性，已经广泛应用于实时数据分析和处理。本文将介绍如何使用 Flink 将数据写入 HDFS（Hadoop分布式文件系统），并提供相关代码示例。
## 准备工作
在开始之前，请确保您已经在本地环境或集群中安装了以下组件：
- Java
原创
2024-07-31 05:46:34
83阅读
DataStream API 支持不同的运行时执行模式，你可以根据你的用例需要和作业特点进行选择。DataStream API 有一种”经典“的执行行为，我们称之为流（STREAMING）执行模式。这种模式适用于需要连续增量处理，而且预计无限期保持在线的无边界作业。此外，还有一种批式执行模式，我们称之为批（BATCH）执行模式。这种执行作业的方式更容易让人联想到批处理框架，比如 MapReduce
转载
2024-02-25 10:20:56
62阅读
1 Flink 和 storm,spark 对比要求消息投递语义为 Exactly Once 的场景；数据量较大，要求高吞吐低延迟的场景；需要进行状态管理或者窗口统计的场景，建议使用 flink2 入门案例创建空的 maven 工程<dependency>
<groupId>org.apache.flink</groupId>
转载
2024-03-05 09:33:50
0阅读
Flink实现原理–流执行环境Flink可以支持批和流数据的计算。在实现层面的执行环境上，Flink有两套不同的类来实现批和流的执行环境。本文就来概要分析一下Flink的流执行环境。Flink的执行环境执行环境是对外的应用开发层面的概念，用户在实现Flink数据处理任务时，需要直接使用执行环境的对象和方法来对当前执行环境进行创建和配置。Flink提供了两套执行环境，一套是批执行环境，其父类是：Ex
转载
2023-10-13 21:43:25
104阅读
第1章 简介本篇文章采用Flink DataStream API完成一次端到端的完成流计算案例，将数据从Kafka抽取，写入Elasticsearch中，并且用kibana动态的展示出来。（客户端=>Web API服务=>Kafka=>Flink=>Elasticsearch=>Kibana）。 第2章 案例设计先定一个简单的需求（就根据当下的疫情情况来做吧）：统计各
转载
2024-01-04 09:14:53
260阅读
Flink的安装Flink的相关安装步骤如下：装虚拟机装系统装jdk装scala(不需要不用)装Hadoop(不需要不用)装Flink配置环境变量 如果只是刚开始的自我测试，安装还是很简单的，直接下载包，上传服务器，tar解压，配置了环境变量，source一下，ok，可以用了，这时不放start-cluster.sh一下启动flink吧（这里只是测试，安装了单节点）。启动后查看web页面：htt
转载
2023-09-09 01:57:42
0阅读
本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使用 Flink SQL 构建一个电商用户行为的实时分析应用。本文所有的实战演练都将在 Flink SQL CLI 上执行，全程只涉及 SQL 纯文本，无需一行 Java/Scala 代码，无需安装 IDE。本实战演练的最终效果图： 准备一台装有 Docker 的 Linux 或
转载
2024-01-31 06:07:13
64阅读
Flink1.11发布了支持MySQLCDC（ChangelogDataCapture）可以直接解析Canal/Debezium格式的MySQLBinlog对于实时处理程序，MySQL的Binlog是很重要的数据源（上一个项目几乎所有实时数据都是来自业务系统的数据库，也就是MySQL，算上分库分表，接了上千个MySQL表的binlog）Flink1.11的CDC发布之后，第一时间就尝试了一下Can
原创
2021-02-07 15:05:05
1901阅读
CREATE TABLE t_stock_match_p_1( id VARCHAR, stkcode INT, volume INT, matchtime TIMESTAMP, WATERMARK FOR matchtime as matchtime) WITH ( 'connector' = 'kafka-0.10', 'topic' = 'xxx', 'scan.startup.mode' = 'latest-offset', 'properties.group
原创
2021-06-21 15:51:51
676阅读
CREATE TABLE t_stock_match_p_1( id VARCHAR, stkcode INT, volume INT, matchtime TIMESTAMP, WATERMARK FOR matchtime as matchtime) WITH ( 'connector' = 'kafka-0.10', 'topic' = 'xxx', 'scan.startup.mode' = 'latest-offset', 'properties.group
原创
2022-01-07 16:05:22
352阅读
C3P0连接池的使用c3p0连接池的概念C3P0是一个开源的JDBC连接池，实现了数据源的链接，支持JDBC3规范和实现JDBC2的标准扩展说明的Connection和Statement池的DataSources对象。使用c3p0的作用首先之前使用JDBC操作了数据库，一般的代码步骤分为：加载驱动、建立链接、创建语句、执行语句、关闭资源等操作，其中的步骤建立连接，每一次操作数据库的时候，都需要获取
转载
2024-07-25 16:19:07
108阅读
