目录什么是数据流？Flink程序剖析Java范例程序数据源JavaDataStream TransformationsData SinksJava迭代器Java执行参数容错能力控制延迟Java调试本地执行环境Java收集数据源Java迭代器数据接收器Java接下来要去哪里？【翻译来源-Application Development DataStream API】Flink中的DataStream程
转载
2024-05-06 10:12:17
177阅读
1、大数据计算引擎发展的四个阶段第一代 Hadoop 承载的 MapReduce第二代 持 DAG（有向无环图） 的框架： Tez 、 Oozie，主要还是批处理任务第三代 Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spark第四代 对流计算的支持，以及更一步的实时性：Flink如图表示：2、flink特性（1）高吞吐 & 低延时（2）支持 Even
转载
2024-03-23 12:08:48
28阅读
flink 多流join 触发时机详解 flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示例将详述join在不同时间下的触发过程.
join+window+processtime代码import java.tex
转载
2024-03-19 09:07:28
46阅读
背景:公司疫情填报系统。公司有A、B两类员工，每日需要填写疫情相关的信息。这批数据存在mysql之中，个人填报信息每天最多存1条记录，多次提交的数据会将最新记录保留。其中主要涉及三张表，一张员工信息表、一张在公司的疫情填报表，一张不在公司的疫情填报表。两张表中关联字段user_id。整体的处理思路:kafka -> flink -> redis flink中清洗思路
转载
2024-03-21 10:30:54
64阅读
有了Flink 数据传输（1）的基础，接下来看看数据在一个job中的传输细节先通过一个job了解一下数据传输的流程，再拓展到跨TaskManager，之后讨论taskmanager之间使用netty进行数据传输的相关细节 文章目录一、数据传输1. 本地的数据传输2. 远程的数据传输3. 同一线程的数据传输二、Buffer的读写模型1. MemorySegment1.1. Memory
转载
2023-12-18 15:16:37
71阅读
目录（8）Aggregate详解（9）Join详解（10）Union详解 （8）Aggregate详解通过Aggregate Function将一组元素值合并成单个值，可以在整个DataSet数据集上使用。Java代码实现：package com.aikfk.flink.dataset.transform;
import org.apache.flink.api.common.function
转载
2024-04-29 19:26:18
84阅读
// 过滤掉emoji表情 function filterEmoji($str) { $str = preg_replace_callback( '/./u', function (array $match) { return strlen($match[0]) >= 4 ? '' : $match ...
转载
2021-09-02 11:31:00
298阅读
2评论
emoji表情是个麻烦的东西，不仅储存的时候需要处理，而且在PC的显示上需要三方的类库来处理。并且它还是经常更新。。。。 最近开发新项目的时候明确要求某个字段要过滤emoji表情，在网上找了个方法，亲测有效，希望可以方便后来人。function filterEmoji($str) { $str = preg_replace_callback( '/./u',
原创
2022-02-22 16:33:25
203阅读
目录Keyed State and Operator State（两种基本State）Raw and Managed State（两个基本状态的存在形式）Using Managed Keyed State（如何使用）状态有效期（TTL）使用Managed Operator StateStateful Source Functions（带状态的Source Functions）Keyed State
本文将介绍如何入门大数据，使用Apache Flink技术建立湖仓一体架构，实现数据的实时处理和持久化存储。一、什么是大数据？所谓大数据，是指数据量巨大、复杂度高、处理速度快等特点的数据。这些数据来源广泛，包括社交网络、物联网、金融业、医疗等领域。要对这些数据进行有效地处理和管理，需要借助大数据技术。二、什么是Apache Flink？Apache Flink是一个开源的流数据处理引擎。它支持流处
转载
2023-12-05 22:26:49
35阅读
过滤流和包装类一、过滤流：使用节点流作为输入或输出。过滤流是使用一个已经存在的输入流或输出流连接创建的。 二、包装类：所谓包装类，就是可以直接将简单类型的变量表示为一个类，在执行变量类型的相互转换时，我们会大量使用这些包装类。Java共有六个包装类，分别是Boolean、Character、Integer、Long、Float和Double，从字面上我们就可以看出它们分别对应于&nbs
转载
2024-06-20 14:11:04
30阅读
1、应用场景分析参考徐崴老师Flink项目数据清洗【实时ETL】数据报表1.1、数据清洗【实时ETL】1.1.1、需求分析针对算法产生的日志数据进行清洗拆分算法产生的日志数据是嵌套大JSON格式（json嵌套json），需要拆分打平针对算法中的国家字段进行大区转换最后把不同类型的日志数据分别进行存储1.1.2、架构图1.2、新建项目工程创建一个大的项目，用Maven来维护 每个flink需求，即j
转载
2023-08-29 16:56:58
1028阅读
Flink相关概念及特性Flink的优势：Flink基本架构基本架构Flink 程序的构成并行数据流 Apache Flink(以下称Flink)是大数据实时流处理计算框架，相对Apache Spark，Spark Streaming 是把批处理按时间切割成很小的片，然后执行微批处理，近似流处理的一个状态；Flink是基于流处理，在Flink中认为Dataset其实就是一个有界的数据流，Data
转载
2024-03-25 19:14:43
65阅读
数据过滤通过条件约束筛选出符合条件的结果，减少不必要的数据行。数据过滤重点内容1、使用 WHERE 子句，如何使用比较运算符对字段的数值进行比较筛选；
2、如何使用逻辑运算符，进行多条件的过滤；
3、学会使用通配符对数据条件进行复杂过滤。比较运算符在 SQL 中，我们可以使用 WHERE 子句对条件进行筛选，在此之前，你需要了解 WHERE 子句中的比较运算符。这些比较运算符的含义你可以参见下面这
转载
2024-03-29 08:24:17
251阅读
# Python信息过滤技巧
在Python编程中，我们经常会调用各种API或者函数来获取信息，但有时候返回的信息可能会包含我们不需要的内容，或者需要对其进行进一步的处理和过滤。本文将介绍如何使用Python对返回的信息进行过滤，以便更好地处理数据并提高编程效率。
## 1. 字符串过滤
在Python中，我们经常会处理字符串类型的数据。当我们从API或者文件中获取到字符串后，可能需要对其进
原创
2024-05-29 04:58:23
153阅读
1、简述：MirrorMaker为Kafka自带的数据迁移工具，可以利用此种方式直接进行kafka集群之间的数据迁移；减少中间组件的使用。（例如通过Flink以Kafka为Source，并且以Kafka作为Sink进行数据传输，当然是基于不对数据进行任何操作的前提下）2、原理：通过Consumer从旧的Kafka集群中消费数据，然后通过Producer将数据生产在目标kafka集群中，实现数据同步
转载
2024-04-04 11:08:59
46阅读
目录前言Stream API的三个阶段创建Stream流Stream API中间操作filtermapflatMapdistinctsortedpeeklimit 和 skipStream API终端操作forEachtoArrayreducecollectcountanyMatch、allMatch 和 noneMatchfindAny 和 findFirstmin 和 max注意事项总结前
转载
2024-10-13 17:41:57
18阅读
## flink 流数据写入hive
### 引言
随着大数据时代的到来，数据处理和分析变得越来越重要。Apache Flink作为一个快速、可靠、可扩展的流处理框架，被广泛应用于实时数据处理和流分析场景。而Hive作为一个基于Hadoop的数据仓库解决方案，可以方便地进行数据存储和查询。本文将介绍如何使用Flink将流数据写入Hive，以实现实时数据分析的需求。
### Flink与Hive
原创
2023-12-14 12:58:16
315阅读
Data Source 原理核心组件分片（Split）：对一部分 source 数据的包装，如一个文件或者日志分区。分片是 source 进行任务分配和数据并行读取的基本粒度。源阅读器（SourceReader）：会请求分片并进行处理，例如读取分片所表示的文件或日志分区。SourceReader 在 TaskManagers 上的 SourceOperators 并行运行，并产生并行的事件流 /
转载
2024-09-18 15:35:11
95阅读
大纲：1、Flink的四大基石包含哪些？2、讲一下Flink的Time概念？3、介绍下Flink窗口，以及划分机制？4、介绍下Flink的窗口机制，以及各组件之间是如何相互工作的？5、在流数据处理中，有没有遇到过数据延迟等问题，通过什么处理呢？6、WaterMark是什么？原理讲解一下？7、窗口如何划分的？什么时候触发计算？8、如果数据延迟非常严重呢？只使用WaterMark可以处理吗？那应该怎么
