前言1. 进程 和 线程 的通俗比喻进程（process）和线程（thread）是操作系统的基本概念。假定工厂的电力有限，一次只能供给一个车间使用。也就是说，一个车间开工的时候，其他车间都必须停工。背后的含义就是，单个CPU一次只能运行一个任务。进程 就好比工厂的车间，它代表CPU所能处理的单个任务。任一时刻，CPU总是运行一个进程，其他进程处于非运行状态。一个车间里，可以有很多工人。他们协同完成
转载
2024-04-15 17:18:30
58阅读
ProcessFunction详解前言KeyedProcessFunction函数的组成定时器测试侧输出流（SideOutput）前言我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API 提供了一系列的Low-Level 转换算子。可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。P
原创
2022-03-23 10:21:22
1265阅读
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》ProcessFunction 是flink 提供面向用户low-level 层级的api，通过ProcessFunction可以访问state
转载
2021-08-31 10:13:40
222阅读
把官方demo中的timer逻辑理清楚，学会使用Timer
原创
2022-04-06 10:30:34
224阅读
文章目录一 Flink1.1 Flink流程和应用场景1.2 架构演变1.2.1 OLAP1.2.2 OLAP1.3 流处理应用场景1.4 分层API1.5 flink spark二 hello world2.1 demo2.1.1 读取文本流2.1.2 读取Socket流2.2 部署2.2.1 测试环境部署2.2.2 部署模式2.2.3 会话模式2.2.4 单作业（Per-Job）模式2.2.
目录实现功能代码测试问题官网描述：https://ci.apache.org/projects/flink/flink-docs-release-
原创
2023-05-06 15:04:22
83阅读
你可能听说过函数式编程（Functional programming），甚至已经使用了一段时间。 网上搜索一下，你会轻松找到好多答案。与面向对象编程（Object-oriented programming）和过程式编程（Procedural programming）并列的编程范式。最主要的特征是，函数是第一等公民。强调将计算过程分解成可复用的函数，典型例子就是map方法和reduce方法
1.1 Linux&Shell相关总结1.1.1 Linux常用命令序号命令命令解释1top查看内存2df -h查看磁盘存储情况3iotop查看磁盘IO读写(yum install iotop安装)4iotop -o直接查看比较高的磁盘读写程序5netstat -tunlp | grep 端口号查看端口占用情况6uptime查看报告系统运行时长及平均负载7ps -aux查看进程1.1.2
转载
2024-08-26 11:01:38
41阅读
文章目录产生背景KeyedProcessFunctionTimerService 和 定时器（Timers）产生背景转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermar...
原创
2021-05-31 18:43:19
517阅读
文章目录产生背景KeyedProcessFunctionTimerService 和 定时器（Timers）产生背景转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。
原创
2022-02-16 09:56:09
523阅读
# 使用Flink的ProcessFunction批量写入MySQL的指南
在大数据开发领域，Apache Flink是一款强大的流式处理框架。本文将介绍如何使用Flink的 `ProcessFunction` 实现批量写入MySQL的操作。我们将逐步阐述整个流程，并提供详细代码示例。
## 整体流程
在实现批量写入MySQL的过程中，我们可以将整个流程分为以下几个步骤：
| 步骤 | 描
1. pv/uv统计pv: 页面重复浏览量统计方式，多页面应用通常在页面load事件，单页应用通常在页面路由中uv: 页面独立访客浏览量统计方式，pv统计的基础上，添加唯一标识，可以是IP地址，用户浏览器localStorage存储的uuid等。IP地址存在局域网内的共享一个ip、代理、动态ip等误差uuid存在用户删除localStorage等，需权衡选取，uuid的准确度更高2. 前端埋点无侵
【代码】flink: 使用ProcessFunction实现数据分流(sideOutput)
原创
2024-03-29 16:29:12
35阅读
Flink（三）处理函数一.概述二.普通处理函数1.ProcessFunction2.KeyedProcessFunction3.ProcessWindowFunction三.合流处理函数1.CoProcessFunction（connect合流）2.ProcessJoinFunction（Interval Join合流）3.BroadcastProcessFunction4.KeyedBroa
转载
2024-02-12 20:05:18
149阅读
flink时间系统系列篇幅目录： 一、时间系统概述介绍 二、Processing Time源码分析 三、Event Time源码分析 四、时间系统在窗口函数中的应用分析 五、ProcessFunction 使用分析 六、实例讲解：如何做定时输出 ProcessFunction 是flink 提供面向用户low-level 层级的api，通过P
原创
2021-02-06 21:28:33
1034阅读
一、ProcessFunction介绍 从之前的文章我们知道，转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如我们常用的MapFunction转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例
原创
2021-03-10 09:33:17
464阅读
学习和使用Flink处理函数
原创
精选
2022-04-03 13:41:59
488阅读
思路分析在电商网站中，订单的支付作为直接与营销收入挂钩的一环，在业务流程中非常重要。对于订单而言，为了正确控制业务流程，也为了增加用户的支付意愿，网站一般会设置一个支付失效时间，超过一段时间不支付的订单就会被取消。在电商平台中，最终创造收入和利润的是用户下单购买的环节；更具体一点，是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求，但在现实中，并不是每次下单都会被用户立刻支付。当
原创
2021-03-14 10:14:04
1009阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！ProcessFunction和CoProcessFunction说明DataStream与K...
转载
2021-06-10 20:23:34
221阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！ProcessFunction和CoProcessFunction说明DataStream与K...
转载
2021-06-10 20:23:33
426阅读
