ChunJun（原FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018年4月，秉承着开源共享的理念，数栈技术团队在github上开源了FlinkX，承蒙各位开发者的合作共建，FlinkX得到了快速发展。两年后的2022年4月，技术团队决定对FlinkX进行整体升级，并更名为ChunJun，希望继续和各位优秀开发者合作，进一步推动数据集成/同步的技术发展。因该
主要介绍基于 Flink 的编程模型，包括 Flink 程序的基础处理语义和基本构成模块，并且和 Spark、Storm 进行比较，Flink 作为最新的分布式大数据处理引擎具有哪些独特的优势呢？Flink 的核心语义和架构模型 我们在讲解 Flink 程序的编程模型之前，先来了解一下 Flink 中的 Streams、State、Time 等核心概念和基础语义，以及 Flink 提供的不同层级的
转载
2024-04-05 10:51:17
37阅读
flinkflink 版本：flink-1.10.1 flink部署目录: /data/flink/flink-1.10.1flinkxflinkx基于flink做的开源数据集成服务，目前改名DTStack flinkx 版本：flinkx_1.10 部署目录: /data/flinkx/flinkx_1.10flinkx插件分发脚本需要分发到所有yarn nodemanager节点#!/bin/
转载
2024-04-20 15:37:16
75阅读
什么是FlinkXFlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通在底层实现上，FlinkX依赖F
转载
2024-03-18 15:01:00
47阅读
FlinkX是在袋鼠云内部广泛使用的一个基于Flink的异构数据源离线同步工具，用于在多种数据源（MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Elasticsearch等）之间进行高效稳定的数据同步。FlinkX简化了数据同步任务的开发过程，用户只需提供一份数据同步任务的配置，FlinkX会将配置转化为Flink任务，并自动提交到Flink集群上执行。1、
转载
2024-03-25 20:51:10
94阅读
下载代码1.使用git工具把项目clone到本地git clone https://github.com/DTStack/flinkx.git
cd flinkx2.直接下载源码wget https://github.com/DTStack/flinkx/archive/1.8.5.zip
unzip flinkx-1.8.5.zip
cd flink-1.8.5编译插件mvn clean pac
转载
2024-04-15 09:53:46
46阅读
ChunJun（原FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018年4月，秉承着开源共享的理念，数栈技术团队在github上开源了FlinkX，承蒙各位开发者的合作共建，FlinkX得到了快速发展。两年后的2022年4月，技术团队决定对FlinkX进行整体升级，并更名为ChunJun，希望继续和各位优秀开发者合作，进一步推动数据集成/同步的技术发展。因该
转载
2024-04-25 11:45:33
58阅读
前段时间看了一下flinkx的运行原理，整理一下容错机制 （本篇都以dm同步到dm为例子）flinkx 支持断点续传的前提条件数据源中必须有一个升序的字段数据源都必须支持数据过滤数据源都必须支持事务配置json文件中需要开启 断点续传 isRestore 设为 true， 设置最多多少行为一个checkpoint在 命令中开启checkpoint"{\"flink.checkpoint.inter
转载
2024-05-30 17:36:12
94阅读
1 事件时间推进的困难由于在事件时间语义的世界观中，时间是由流入系统的数据（事件）而推进的；由宇宙客观规律以恒定速度，不可停滞地推进 , 而事件时间，并不能像处理时间那样,(事件可能出现延迟,乱序)；显然，在事件时间语义的世界观中，时间的推进，并不是一件显而易见的事情；场景1：数据时间存在乱序的可能性，但时光不能倒流啊！场景2：下游分区接收上游多个分区的数据，数据时间错落有致，那以谁为准？！&nb
转载
2024-03-23 12:35:27
31阅读
flink一、DataStream API（基础篇）1、执行环境（Execution Environment）（1）创建执行环境（2）执行模式(Execution Mode)（3）触发程序执行2、源算子（Source）（1）准备工作（2）从集合中读取数据（3）从文件读取数据（4）从 Socket 读取数据（5）从 Kafka 读取数据（6）自定义 Source（7）Flink 支持的数据类型 一
转载
2024-03-25 12:09:30
19阅读
1. 四大组件的作用作业管理器（JobManager）: JobManager 会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上 的插槽（slot）,一旦获取到足够的资源, 就会将 '执行图’发送到运行的他们的TaskManager上,进行执行资源管理器（ResourceManager）:主要负责管理任务管理器（TaskManag
转载
2024-06-22 21:46:30
51阅读
初识 FlinkFlink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目， 2014 年 4 月 Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会， 参加这个孵化项目的初始成员是Stratosphere 系统的核心开发人员， 2014 年 12 月， Flin
转载
2024-02-11 20:49:00
68阅读
更多云场景实践研究案例，点击这里：
【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽
随着网站论坛粉丝数高涨，原有系统架构和服务器性能已无法满足热情高涨的粉丝需求。同时，网站流量巨大，粉丝在使用过程中，国内部分地区和国外（如俄罗斯，美国等）经常出现访问受限、网络不通畅的情况。袋鼠云协助用户进行架构改造，实现了应用平滑上云，彻底改变原有平台的性能瓶
什么是FlinkX？一、什么是FlinkXFlinkX是一款基于Flink的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，其由袋鼠云于2016年初步研发完成，目前有稳定的研发团队持续维护，已在Github上开源（开源地址详见文章末尾），并维护该开源社区。目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX已经改名为chunjun（纯钧），链接
1.前提介绍公司最近有个项目要做数据库之间的数据离线同步，经过调研在git上发现了袋鼠云的flinkx插件，感觉很好用，我们可以理解flnkx就是封装了同步操作的jar包，调用起来也很方便，我们只需要关注一个json文件，里面定义好reader和writer，就能够进行数据库数据同步，当前我们的需求只需要到离线的，其实选用flinkx也是考虑到以后拓展，毕竟flink本身支持实时同步，虽然我用的程
asyncimport com.alibaba.fastjson.JSONObject;
import org.apache.commons.io.IOUtils;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.async.ResultFutu
转载
2024-06-14 19:13:40
53阅读
目录 一、背景二、概念三、特性四、工作原理五、快速开始1.数据同步任务模版kafka to kudumysql to hive 2.数据同步执行命令flinkx老版本命令参数：flinkx老版本执行命令： chunjun新版本执行命令：（明显看出命令还是减少了很多的，更简便易用了）六、dolphinscheduler集成chunjun[CSDN话题挑战赛第2期]()
转载
2024-05-13 22:12:41
43阅读
借用官网的一个例子：假设存在一个序列，序列中的元素是具有不同颜色与形状的图形，我们希望在序列里相同颜色的图形中寻找满足一定顺序模式的图形对（比如在红色的图形里，有一个长方形跟着一个三角形）。 同时，我们希望寻找的模式也会随着时间而改变。
在这个例子中，我们定义两个流，一个流包含图形（Item），具有颜色和形状两个属性。另一个流包含特定的规则（Rule），代表希望寻找的模式。Flink 开发的时候
转载
2024-02-22 13:08:06
39阅读
文章目录1-传统数据处理架构-事务处理2-离线数据仓库分析查询处理3-有状态的流式处理（初代大数据处理）4-Lambda架构5-Flink流处理6-Flink的主要特点1)-事件驱动2)-基于流的世界观3)-分层API4)-Flink的其他特点7-Flink vs Spark Streaming1)-核心思想不同2)-数据模型不同3)-运行时架构 1-传统数据处理架构-事务处理2-离线数据仓库分
转载
2024-03-23 12:09:00
66阅读
目录CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛：1. Dynamic Table & ChangeLog Stream2. 传统 CDC ETL 分析3. 基于 Flink CDC 的
转载
2024-05-27 18:37:46
360阅读
