1. 项目背景1.1. 介绍从4个分区的kafka特定主题中接受设备数据，然后根据主题的key进行轮询分区。第一次按顺序分配，已分配完的之后直接获取之前的分配结果即可，以保证key相同的数据可以进入下个算子的同一个分区。1.2. 代码1.2.1. 自定义分区/**
* 自定义轮询分区器<br>
* 对于一个未被分区的key，对其分配下一个分区索引；对于一个已经被分区过的k
转载
2024-04-06 12:49:12
50阅读
1：问题描述
针对某个集体（比如你所在的班级）中的“人名”设计一个哈希表，使得平均查找长度不超过R，完成相应的建表和查表程序。2：基本要求假设人名为中国人姓名的汉语拼音形式。待填入哈希表的人名共有30个，取平均查找长度的上限为2。哈希函数用除留余数法构造，用伪随机探测再散列发处理冲突。3：数据结构设计#ifnd
编写Flink入门案例程序，词频统计WordCount，自定义数据源，产生数据：spark flink，设置Checkpoint，运行程序，查看Checkpoint检查点数据存储。代码:// TODO： ================= 建议必须设置 ===================
// a. 设置Checkpoint-State的状态后端为FsStateBackend，本地测试时使用本
转载
2024-01-30 06:51:05
207阅读
{ text : “品牌名称”,
value : “name”,
align:‘center’,
sortable : false, //设置名称不可排序
},
{ text : “品牌LOGO”,
value : “image”,
align:‘center’,
sortable : false, //设置品牌LOGO不可排序
},
{ text : “品牌首字母”,
value : “lett
The following code shows how to use toChangelogStream for different scenarios. import org.apache.flink.streaming.api.datastream.DataStream; import org ...
转载
2021-08-30 00:35:00
731阅读
2评论
UUIDUUID是通用唯一识别码（Universally Unique Identifier)的缩写，开放软件基金会(OSF)规范定义了包括网卡MAC地址、时间戳、名字空间（Namespace）、随机或伪随机数、时序等元素。利用这些元素来生成UUID。UUID是由128位二进制组成，一般转换成十六进制，然后用String表示。550e8400-e29b-41d4-a716-446655440000
转载
2023-08-20 14:52:46
166阅读
Flink提供了各种数据的转换操作，但实际业务过程中有很多业务上需要处理的数据结构、规则等等，需要自己写自己的业务代码，这时候就用到的flink提供的函数类(Function Class)Flink暴露了所有udf函数的接口(实现方式为接口或者抽象类)，例如MapFunction，FilterFunction，ProcessFunction等。一个小栗子，要筛选数据中以sensor3为开头的数据还
转载
2024-07-02 23:41:43
227阅读
? 作者 ：“大数据小禅”? 文章简介 ：新老用户方案优化使用状态与布隆过滤器的方式? 欢迎小伙伴们 点赞?、收藏⭐、留言? 目录导航什么是布隆过滤器新的需求：使用Flink 新老用户->状态+布隆过滤器标识核心代码代码详解结果字段截取 什么是布隆过滤器布隆过滤器（Bloom Filter）是一种经过哈希函数处理的数据结构，用于快速判断一个元素是否可能存在于一个集合中。它可以用来检索大规模数
TaskManager执行任务当一个任务被JobManager部署到TaskManager之后，它将会被执行。本篇我们将分析任务的执行细节。submitTask方法分析一个任务实例被部署所产生的实际影响就是JobManager会将一个TaskDeploymentDescriptor对象封装在SubmitTask消息中发送给TaskManager。而处理该消息的入口方法是submitTask方法，它
转载
2024-05-05 18:26:05
111阅读
在flink中，state是其重要的特性之一。有了state使得在数据流上进行状态的计算成为了可能，为flink的发展做出了重要贡献。没有state时需要在flink上进行状态的计算将会非常复杂且在复杂场景下无法实现，如集群宕机时状态快照的保存。无论是使用flink和MySQL还是flink和其他的存储
转载
2023-12-02 22:45:01
39阅读
1、自定义Flink数据源，按照如下要求造数据
数据格式{
"adsId": 1,
"userId": 1,
"provinceName":"山西"
"timestamp": 1636690000
}
adsId是广告id，取值范围为1-10
userId是用id，取值1-50000
provinceName为省份，取值范围为 北京，山西，山东，河南，河北，上海，福
转载
2024-04-16 11:06:24
66阅读
窗口窗口是处理无限流的核心。窗口将流分割成有限大小的“桶”，我们可以在桶上应用计算。本文档重点介绍如何在Flink中执行窗口操作，以及程序员如何从其提供的功能中获得最大的好处。一个有窗口的Flink程序的一般结构如下所示。第一个片段指的是键控流，而第二个片段指的是非键控流。可以看到，唯一的区别是keyBy(…)调用键流，而window(…)调用非键流的windowwall(…)。这也将作为页面其余
转载
2023-12-08 14:25:01
47阅读
JobManager 高可用(HA)jobManager协调每个flink任务部署。它负责调度和资源管理。默认情况下，每个flink集群只有一个JobManager，这将导致一个单点故障(SPOF)：如果JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败。使用JobManager HA，集群可以从JobManager故障中恢复，从而避免SPOF 。 用户在standalone或
转载
2024-05-21 18:44:04
107阅读
前言最近由于项目需求，项目中需要实现一个WebSSH连接终端的功能，由于自己第一次做这类型功能，所以首先上了GitHub找了找有没有现成的轮子可以拿来直接用，当时看到了很多这方面的项目，例如：GateOne、webssh、shellinabox等，这些项目都可以很好地实现webssh的功能。但是最终并没有采用，原因是在于这些底层大都是python写的，需要依赖很多文件，自己用的时候可以使用这种方案
转载
2023-09-26 20:54:20
202阅读
1.数据库表主键选择uuid还是自增id的思考uuid：优点就是保证唯一，本身具有无序性。 但正是因为UUID是无序性的，本身的size过大，作为主键会涉及大量索引重排。why id自增和uuid均不适合分布式？id自增：存储空间小，性能高。但当数据量庞大时，在数据库分库分表后（分表就是把一个表的数据放到多个表中，分库即将一个库的数据拆分到多个库中），数据库自增id不能满足唯一id来标识数据； 因
转载
2023-07-29 15:30:40
321阅读
# Java UUID指定长度
UUID（Universally Unique Identifier）是一个128位的全局唯一标识符。在Java中，我们可以使用`java.util.UUID`类生成UUID。默认情况下，Java生成的UUID是32位的字符串，由8个连字符分隔的16进制数组成。然而，有时候我们可能需要生成指定长度的UUID，本文将介绍如何在Java中生成指定长度的UUID。
#
原创
2023-07-24 08:42:57
1307阅读
# 如何实现“mysql 指定位数UUID”
## 摘要
在本文中，我将向你展示如何在MySQL数据库中生成指定位数的UUID。首先，我会介绍整个实现过程的步骤，并为每一步提供详细的代码示例。最后，我会总结一下要点，帮助你更好地理解这个过程。
## 实现步骤
首先，让我们来看一下生成指定位数UUID的整个实现过程：
```mermaid
gantt
title 生成指定位数UUID
原创
2024-07-11 06:47:38
110阅读
# 如何实现 “Java UUID 指定长度”
在软件开发中，UUID（通用唯一标识符）被广泛应用于生成唯一标识。Java中的UUID类可以极为方便地生成UUID，但通常生成的UUID是128位（16字节），即36个字符（包含连字符）。有时候，我们可能需要一个指定长度的UUID字符串。本文将指导你如何实现这个功能，并提供详细的步骤和示例代码。
## 整体流程
我们将整个实现过程拆分为几个步骤
原创
2024-08-23 10:44:54
57阅读
# 实现Mysql uuId指定位数
## 1. 简介
在Mysql中，uuId是一种全球唯一标识符，它是一个128位的数字，通常以字符串的形式表示。默认情况下，Mysql生成的uuId是32位的字符串，但有时我们可能需要指定位数来满足特定的需求。
本文将介绍如何在Mysql中实现uuId指定位数的方法，包括步骤和所需代码。
## 2. 实现步骤
下表展示了实现uuId指定位数的步骤：
原创
2023-10-06 12:46:13
593阅读
1 字符串算术表达式分类字符串算术表达式分为前缀表达式、中缀表达式和后缀表达式。其中前缀表达式又称波兰表达式，后缀表达式基于前缀表达式，又称逆波兰表达式。下面给出百度百科关于几种表达式的定义：前缀表达式是一种没有括号的算术表达式，与中缀表达式不同的是，其将运算符写在前面，操作数写在后面。为纪念其发明者波兰数学家Jan Lukasiewicz，前缀表达式也称为“波兰式”。例如，- 1 + 2 3，它
转载
2024-09-14 14:32:24
38阅读
