目录 场景：onTimer 使用关键流程数据处理流程代码交互流程onTimer 延迟数据处理的优劣优点：缺点：onTimer 编码实践业务场景描述代码场景：某些特殊业务场景需要延迟数据处理，比如乱序数据。某些业务场景只需要保留最新数据，中间更新过程忽略不计，比如客服问卷最新状态。某些业务场景需要结合最近一段时间的数据进行处理，比如客服侧由于系统短时间单条数据更新多个字段，系统侧更新字段顺
转载
2024-03-05 11:52:24
9阅读
最近在整理 Flink 方面的知识点，今天更新一遍 Flink 的基础的知识点，让大家对 Flink 的 时间、窗口、水位线 有一个基本的认识，然后下一篇文章会从源码的角度来解析 Flink 在 时间、窗口、水位线 底层是怎么实现的。话不多说，直接上今天的大纲主题：时间Flink 中 定义了 3 种 时间类型：事件时间（Event Time）、处理时间（Processing Time）和摄取时间（
转载
2024-02-29 08:21:17
91阅读
摘自Apache Flink官网 最早的streaming 架构是storm的lambda架构分为三个layerbatch layerserving layerspeed layer 一、在streaming中Flink支持的通知时间Flink官网写了个了解streaming和各种时间的博客https://www.oreilly.
转载
2024-02-21 21:15:59
57阅读
目录容错控制延迟本地执行环境收集数据源迭代器数据接收器Flink中的DataStream程序是实现数据流转换的常规程序（例如，过滤，更新状态，定义窗口，聚合）。最初从各种源（例如，消息队列，套接字流，文件）创建数据流。结果通过接收器返回，接收器可以将数据写入文件或者执行标准输出（例如命令行终端）。Flink程序可以在各种环境中运行，独立运行或嵌入其他程序中。执行器可以在本地JVM中运行，也可以在多
转载
2024-05-14 13:43:03
52阅读
# Flink 向数据仓库写入 datetime 类型的完整指南
在大数据处理和实时分析的时代，Apache Flink 已经成为流数据处理的一个重要框架。Flink 提供了强大的流式数据处理能力和高吞吐量的特性，使其广泛应用于实时数据分析和快速报表生成。在与数据仓库（如 MySQL、PostgreSQL 等）进行交互时，正确处理 datetime 类型的字段显得尤为重要。本文将详细介绍如何使用
前言这几天在看 Flink SQL 内置优化参数的功能和原理，虽然网上会有一些文章介绍，这里还是自己做一个整体的总结和思考，方便自己以后的回顾。Flink SQL 内置的优化参数是 Blink Planner 里面的功能，也就是 1.9 以后 Blink Planner 自带功能，从 Flink 1.11 开始，Blink Planner 已经成为 Flink 默认的 Planner，目前聚合优化
转载
2024-03-18 07:17:01
94阅读
文章目录一. 问题引入1. 场景描述2. 日志简析二. 初级问题分析与解决1. 问题分析1.1. yarn的调度器设置1.2. 程序设置2. 问题解决三. （性能）新的问题1. 问题描述2. 理想化的最优方案3. "PlanB"的解决方案四. 反思与迭代 一. 问题引入1. 场景描述使用flink引擎，处理hdfs到hive的任务，hdfs的文件数有4000个，这里设置并行度为20，提交任务运行
转载
2024-04-10 10:59:59
62阅读
DateTime dt = DateTime.Now;dt.ToString();//2005-11-5 13:21:25dt.ToFileTime().ToString();//125-11-
原创
2023-05-09 16:44:37
86阅读
Flink的三种时间在谈watermark之前，首先需要了解flink的三种时间概念。在flink中，有三种时间戳概念：Event Time 、Processing Time 和 Ingestion Time。其中watermark只对Event Time类型的时间戳有用。这三种时间概念分别表示：Processing time处理时间，指执行算子操作的机器的当前时间。当基于处理时间运行时，所有关于
转载
2024-03-15 16:19:06
182阅读
一.Flink新特性 1.支持Scala2.12 2.对SQL功能进行完善 a.Streaming SQL新增Temporal Tables【时态表】 时态表：时态表记录了数据改变的历史状态，该表可以返回特定时间点的表的内容。 b.Streaming SQL支持模式匹配 模式匹配：Flink CEP是Flink的复杂事件处理库。它允许在流上定义一系列的模式，最终
转载
2024-04-28 18:47:21
112阅读
文章目录DataStream API 简介Java tuples 和 POJOsTuplesPOJOsScala tuples 和 case classes一个完整的示例Stream execution environment 流执行环境Basic stream sources 基本的 stream sourceBasic stream sinks 基本的 stream sinkDebuggin
转载
2024-06-03 12:57:54
12阅读
一、概述datetime库定义了2个常量和5个类。 常量名/类名描述2个常量MINYEAR=1 AXYEAR=9999 5个类date类表示日期的类time类表示时间的类datetime类表示时间日期的类timedelta类表示两个datetime对象的差值；tzinfo类表示时区的相关信息1、date类date类包含三个参数，分别为year，month，day，返回
转载
2023-07-09 09:37:27
161阅读
java常用数据类型之date类型详解实例介绍。java.util.Date是我们经常要使用到的日期类的数据类型，由此可见，我们应该多点了解这方面的知识，例如Date类的基本面用法、Date类的方法，Date类型对象的构造方法等。java api里面日期类型的继承关系如下：java.lang.Object–java.util.Date–java.sql.Date–java.sql.Time–jav
转载
2023-06-03 15:04:19
234阅读
1.SimpleDateFormat是对日期Date类对格式化和解析
2.两个操作
（1）格式化：日期—>字符串
（2）解析：格式化对逆过程，字符串—>日期
转载
2023-07-21 20:38:09
171阅读
### 1. 介绍
Flink是一个流式处理框架，它提供了SQL查询的能力。在Flink SQL中，可以使用MySQL的datetime类型进行日期和时间的处理和计算。本文将介绍如何在Flink SQL中使用MySQL datetime类型，并提供相应的代码示例。
### 2. MySQL datetime类型
MySQL中的datetime类型是用来存储日期和时间的数据类型。它的格式为`Y
原创
2023-08-27 03:51:39
1548阅读
java 常用的时间工具类• java.util.Calender
• java.util.Date 是用于表示一个日期和时间的对象（实际一个long类型的以毫秒表示的时间戳）
• java.time.LocalDateTime
• java.time.LocalDate
• java.time.ZonedDateTime
• java.time.Instant初始化操作及具体时间的指定：data
转载
2023-08-16 16:49:26
108阅读
最近有个python项目需要更新mysql时间，类型是datetime,参考了网上的建议，将时间转为字符串再写入数据库。def toMysqlDateTime(): dt=datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S") return dt
原创
2017-07-07 11:13:16
7941阅读
一般情况下，创建时间、修改时间都是用datetime类型；
datetime类型在没有默认值的情况下是不会自动赋值的；
在开发阶段，不想传这两个值，但又想不为null，所以就需要用到CURRENT_TIMESTAMP这个参数。
创建时间：
一般是在创建数据时才会赋值，使用SQL的话，就需要在字段上添加默认值： DEFAULT CURRENT_TIMESTAMP(0)
使用Navicat的情况下，
原创
2021-07-12 15:51:51
1630阅读
# 实现Java DateTime类型
## 简介
在Java中，DateTime类型可以用来表示日期和时间。它提供了一系列方法来操作日期和时间，并且支持时区的转换和格式化。本文将向你介绍如何实现Java DateTime类型。
## 步骤
下面是实现Java DateTime类型的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 导入必要的类库 |
| 2 | 创建一
原创
2023-08-06 13:08:47
962阅读
近期遇到了DateTime到底是值类型还是引用类型的疑惑，顺势较深入地了解一下DateTime相关的内容结论：DateTime是值类型，因为DateTime是结构体，而结构体继承自System.ValueType，属于值类型 一、DateTime是值类型还是引用类型的探索二、了解DateTime结构体三、DateTime.Now和DateTime.UtcNow是怎么计算出来的
