回顾上一篇文章 ：package com.ruozedata.flink.flink02
import java.sql.{Connection, PreparedStatement}
import com.ruozedata.flink.fink01.Domain.Student
import com.ruozedata.flink.utils.MySQLUtils
import org.a
flink程序开发流程： 1、 set up the batch execution environment 2、get date 3、develop business logic 4、executor program用flink实现githab上面的example ：用批处理实现wordcount（java版本）：import org.apache.fli
1.1. 变更数据捕获（CDC）技术广义概念上，能够捕获数据变更的技术统称为 CDC（Change Data Capture）。通常我们说的 CDC 主要面向数据库的变更，是一种用于捕获数据库中数据变化的技术。CDC 的主要应用有三个方面：数据同步，通过 CDC 将数据同步到其他存储位置来进行异地灾备或备份。数据分发，通过 CDC 将数据从一个数据源抽取出来后分发给下游各个业务方做数据处理和变换。
转载
2024-07-24 12:39:36
138阅读
在互联网越来越快的今天，用户的“耐性”正在变差，企业对数据服务实时化的需求也日益增多，打车、外卖、网购、在线视频等场景下，用户已经不能忍受较长时间的等待，企业对于大数据实时决策的要求也越来越严苛。在这样的背景下，OPPO基于 Flink 打造了实时计算平台 OStream，对Flink进行了系列的改进和优化，探索了实时流计算的行业实践以及变化趋势。为此，OPPO 大数据平台研发负责人张俊接受了In
Flink教程-flink 1.11 流式数据ORC格式写入fileStreamingFileSink简介写入orc工厂类向量化操作构造OrcBulkWriterFactory实例讲解构造source构造OrcBulkWriterFactory构造StreamingFileSink 在flink中，StreamingFileSink是一个很重要的把流式数据写入文件系统的sink，可以支持写入行
转载
2024-09-27 14:00:51
14阅读
简介 flink cep 是flink的复杂处理库。主要用来筛选，流式数据中，符合条件的某个系列动作。譬如筛选出连续的告警，或者是用户生成订单后，规定时间内没有完成支付等。 一般cep都用于KeyedStream。一般开发流程生成一个datastream或者KeyedStream定义一组规则将这
转载
2024-05-01 20:08:39
210阅读
聊聊Blink开源和Flink社区近况前几天 Blink 开源的消息刷了朋友圈，因为笔者一直关注着社区的发展。所以今天想从我个人的角度来聊聊 Blink 开源，社区 merge Blink 的计划，以及最近发生的一些很有意义的事情。Blink 开源这次 Blink 开源的主要目的是让社区的开发者们能尽早地尝试一些他们感兴趣的功能与改进。我觉得最核心的贡献包括：Stream SQL 的新功能和性能优
要了解flink的checkpoint，首先来了解一下flink的状态管理机制，在flink当中，checkpoint的保存由状态管理机制来决定flink状态管理机制状态后端：每传入一条数据，有状态的算子任务都会读取和更新状态由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态
转载
2023-12-15 07:35:49
356阅读
1：时间的几种类型（官网概念）1.1处理时间指的是执行具体操作时的机器时间（大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) ）在ddl语句中声明一个处理时间：CREATE TABLE user_actions (
user_name STRING,
data STRING,
user_action_time AS PROCTIME() -
摘要：本文介绍 Sort-Shuffle 如何帮助 Flink 在应对大规模批数据处理任务时更加游刃有余。主要内容包括：数据 Shuffle 简介引入 Sort-Shuffle 的意义Flink Sort-Shuffle 实现测试结果调优参数未来展望Tips：FFA 峰会以及 Hackathon 比赛重磅开启，点击「阅读原文」即可报名～Flink 作为批流一体的大数据计算引擎，大规模批数据处理也是
五、window总结1.flink支持两种划分窗口的方式（time和count）
如果根据时间划分窗口，那么它就是一个time-window
如果根据数据划分窗口，那么它就是一个count-window
2.flink支持窗口的两个重要属性（size和interval）
如果size=interval,那么就会形成tumbling-window(无重叠数据)
如果s
转载
2024-07-09 16:23:02
37阅读
1.前言下面的答案都是博主收集小伙伴萌的答案 + 博主自己的理解进行的一个总结。2.Join 的应用场景关于 Join 的场景就太多太多了，在离线数仓开发中，Join 是最常用的算子之一了。比如：⭐ 几乎所有公司的 APP 都会涉及到的曝光关联点击；两条流数据之间的维度拼接；将表打宽等等⭐ 电商场景中的退单的订单关联下单的订单分析退单的单的特点等3.为什么流式计算中提到 Join 小伙伴萌就怕呢？
转载
2024-07-24 15:00:28
39阅读
# 实现MySQL CDC OP类型的步骤
## 1. 了解MySQL CDC
首先，我们需要了解什么是MySQL CDC（Change Data Capture）。MySQL CDC是一种用于捕获数据库中数据变化的技术，它可以实时捕获数据库的变更操作（如插入、更新、删除）并记录下来，以便后续做进一步的处理和分析。
在MySQL中，CDC通常通过binlog（二进制日志）来实现。binlog
原创
2023-12-19 07:43:01
158阅读
Optional类型optional<T>对象是一种包装器对象，要么包装了类型T对象，要么没有包装任何对象。对于第一种情况，称这种值为存在的。Optional<T>类型被当做一种更安全的方式，用来替代类型T的引用，这种引用要么引用某个对象，要么为null。但是，它只有在正确使用的情况下才会更安全。使用Optional值有效地使用Optional的关键是要使用这样的方法：它在
Oracle实时数据抽取项目问题总结项目背景介绍项目主要是将Oracle、MySQL、SQLServer、Db2等其他数据库的实时变更数据同步到其他异构数据库中。本篇文章主要是讨论oracle的实时采集，通过Logminer捕获归档日志，然后将提取后的数据推送到Kafka中。项目使用的技术框架使用的核心框架：https://github.com/debezium/debezium 用于捕获归档日志
KafkaProducer源码分析Kafka常用术语Broker：Kafka的服务端即Kafka实例，Kafka集群由一个或多个Broker组成，主要负责接收和处理客户端的请求Topic：主题，Kafka承载消息的逻辑容器，每条发布到Kafka的消息都有对应的逻辑容器，工作中多用于区分业务Partition：分区，是物理概念，代表有序不变的消息序列，每个Topic由一个或多个Partion组成Re
转载
2024-09-19 11:27:46
83阅读
以下列表总结了C API中可用的功能。有关更多详细信息，请参见 第27.8.7节“C API函数描述”中的说明。my_init()：在线程安全程序中初始化全局变量和线程处理程序mysql_affected_rows()：返回改变的行数/删除/插入的最后 UPDATE， DELETE或 INSERT查询mysql_autocommit()：打开/关闭自动提交模
转载
2023-08-30 20:45:40
60阅读
因为有着一年半的iOS开发经验(OC也是一门面向对象的语言)所以在对Java的面向对象的理解上也是有着自己的理解，今天就和大家分享一下。面向对象中最为重要的三大思想就是：继承、封装、多态。本文将以一个实例场景来分析Java中的OOP。现有一个场景：学校人员管理。首先分析出此场景所包含的角色类别：学生，老师，校长。那么我们可以为每个角色类别创建对应的类(具体相同特征或者行为的一种抽象)。学生(Stu
转载
2024-04-10 09:35:55
46阅读
关于概念的东西，其实官网说的很全，对于个人理解就是，flink、spark等等大数据处理平台就是把原来需要我们自己实现的功能，全部框架封装好，像是跨机器的大规模计算、内存/cpu等等资源管理、状态管理(锁还有恢复机制等等)框架全部封装好了，作为开发来说就只需要关心自己要实现的业务就可以了以下内容来自官网，从3个方面介绍Flink：架构Apache Flink 是一个框架和分布式处理引擎，用于在无边
转载
2024-05-01 22:17:35
58阅读
摘要：本文整理自字节跳动基础架构工程师刘畅，在 Flink Forward Asia 2022 生产实践专场的分享。本篇主要从四个方向展开介绍。背景介绍解决方案生产实践未来展望点击查看直播回放和演讲 PPT一、背景介绍1.1 资源管理演进 字节跳动的大数据资源管理架构，以及 Flink 的部署演进，大致可以分为三个阶段。第一阶段，完全基于 YARN 的离线资源管理。
转载
2024-05-28 21:42:56
36阅读
