项目介绍基于bahir-flink二次开发，相对bahir调整的内容有：1.使用Lettuce替换Jedis,同步读写改为异步读写，大幅度提升了性能
2.增加了Table/SQL API，增加维表查询支持
3.增加查询缓存(支持增量与全量)
4.增加支持整行保存功能，用于多字段的维表关联查询
5.增加限流功能，用于Flink SQL在线调试功能
6.增加支持Flink高版本（包括1.12,1.1
转载
2023-09-20 16:12:32
396阅读
原标题：宣布 Java 8 停止维护后，Oracle 又毙掉了 JavaOne！上周，Oracle 宣布将在不久后将停止维护 Java 8。近日，又在开发者博客宣布取消 JavaOne 会议...▌Java 8 即将停止维护前不久，Oracle 在官网发布了有关 Java SE 8 补丁更新的最新消息：意思是说：2019 年 1 月之后，Oracle 将不会在网站上发布 Java SE 8 商业使
转载
2023-10-06 11:00:43
50阅读
# Flink并行修改Redis的实现
Apache Flink是一款流处理和批处理的开源框架，因其高效的实时数据处理能力而受到广泛欢迎。在许多应用场景中，Flink与Redis的结合能够实现对实时数据的高效存储和管理。本文将介绍如何在Flink中并行修改Redis数据，并提供相应的代码示例。
## 1. 环境准备
首先，确保您的环境中已经安装了Flink和Redis。可以通过Docker轻
原创
2024-10-01 07:11:22
27阅读
背景在字节跳动的实时计算场景中，我们有很多任务（数量 2k+）会直接服务于线上，其输出时延和稳定性会直接影响线上产品的用户体验，这类任务通常具有如下特点：流量大，并发高（最大的任务并行度超过 1w）拓扑类似于多流 Join，将各个数据源做整合输出给下游，不依赖 Checkpoint没有使用 Checkpoint 并且对短时间内的小部分数据丢失不敏感（如 0.5%），但对数据输出的持续性要求极高在
转载
2024-04-25 18:24:57
45阅读
# 科普文章：API 更新 Redis 缓存 避免重复更新
在开发过程中，我们经常会使用缓存来提高系统的性能和减少数据库的访问次数。而 Redis 作为一个高性能的内存数据库，常用来做缓存存储。当我们的系统中有多个 API 需要更新相同的 Redis 缓存时，就需要考虑避免重复更新的问题。
## 为什么需要避免重复更新
重复更新缓存会导致系统资源的浪费，增加不必要的数据库访问次数，降低系统性
原创
2024-06-21 06:44:23
27阅读
# Flink 更新 Redis 值的应用与实现
Apache Flink 是一个开源流处理框架，以其高吞吐量和低延迟著称。它在处理实时数据流时表现尤为出色，广泛应用于数据分析、实时监控等场景。Redis 是一种高性能的键值数据库，常用于缓存和存储快速访问的数据。将 Flink 与 Redis 相结合，可以实现高效的数据更新和管理。在这篇文章中，我们将探讨如何使用 Flink 更新 Redis
释放内存只是第一步，为了更加高效地管理内存空间，在应用程序释放内存时，操作系统需要把释放掉的内存块插入一个空闲内存块的链表，以便后续进行管理和再分配。这个过程本身需要一定时间，而且会阻塞当前释放内存的应用程序。今天来聊聊，关于 Redis 大 key 的四个问题。什么是 Redis 大 key？大 key 会造成什么问题？如何找到大 key ？如何删除大 key？什么是 Redis 大 key？大
转载
2023-10-18 13:00:28
112阅读
SprintBoot 2.X 通用Redis缓存Key的封装1.为什么要对缓存Key进行封装？2.代码实现1. KeyPrefix接口2. BasePrefix 抽象类3. 继承BasePerfix的具体实现类4. 具体使用场景，redisService的实现参考上一篇博客 1.为什么要对缓存Key进行封装？当Redis存在大量的缓存引用时会导致一个问题，缓存key冲突，不能识别不同模块中的缓存
转载
2023-05-30 15:34:24
118阅读
数据库查询时的步骤如下图，循序渐进.
客户端 ->查询缓存->解析器->解析树->预处理器—>查询执行计划->查询执行引擎->存储引擎->数据->返回结果
我先向大家展示我的ads数据库表结构，结合这些信息完成优化。
desc ads;
+------------------+--------
一.Flink的Parallelism并行度Flink的Parallelism并行度在flink-conf.yaml中通过parallelism.default配置项给所有execution nvironments指定系统级的默认parallelism；在ExecutionEnvironment里头可以通过setParallelism来给operators、data sources、data si
转载
2024-01-10 17:34:16
112阅读
今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic，默认为 kafka 的 topic )的关系，大概回答了一下，这里整理一份首先必须明确的是，Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的，而这个问题其实是问的是： 任务的并发数与 slot 数的关系最大并发数 = slot 数这里有两个原因：每个算子的
转载
2023-07-11 17:47:07
162阅读
# 避免主键冲突的方法
在数据库中，主键是用来唯一标识每一条记录的字段，保证数据的唯一性和完整性。如果不小心出现主键冲突，就会导致数据不一致或者操作失败。在Java中，我们可以通过一些方法来避免主键冲突的问题。
## 1. 使用数据库自增字段
通常情况下，我们可以使用数据库的自增字段来作为主键，每次插入新记录时，数据库会自动为该字段赋予一个唯一的值。这样可以避免主键冲突的问题。以下是一个My
原创
2024-03-11 06:21:05
65阅读
Flink并行度深圳浪尖浪尖聊大数据并行执行本节介绍如何在Flink中配置程序的并行执行。FLink程序由多个任务（转换/操作符、数据源和sinks）组成。任务被分成多个并行实例来执行，每个并行实例处理任务的输入数据的子集。任务的并行实例的数量称之为并行性。如果要使用保存点，还应该考虑设置最大并行性（或最大并行性）。当从保存点还原时，可以改变特定运算符或整个程序的并行性，并且该设置指定并行性的上限
原创
精选
2021-03-18 17:04:35
3782阅读
Slot和TaskManager 首先Flink中每个真正执行任务的taskManager都是一个JVM进程，其在多线程环境中执行一个或者多个子任务，执行的任务可以看成一个线程，线程所占据的资源可以看做是slot。 那么为了控制一个JVM同时能运行的任务数量，flink引入了task slot的概念 ...
转载
2021-08-09 20:15:00
1432阅读
2评论
目录1.Flink中的时间语义1.1 EventTime 的代码设置2.Watermark水位线2.1 watermark的基本概念2.2 watermark的特点和传递2.3 Watermark 的代码设置2.3.1 Assigner with periodic watermarks2.3.2 Assigner with punctuated watermarks3
转载
2024-04-12 15:40:05
255阅读
本节介绍如何在Flink中配置程序的并行执行。
原创
2021-07-23 17:18:52
445阅读
一、概念1、Task：一个阶段多个功能相同的subTask的集合，类似Spark的TaskSet2、SubTask：是任务最小的执行单元，是一个Java类的实例，完成具体的计算逻辑3、Slot：计算资源的隔离单元，一个Slot可以运行多个SubTask，但是这些SubTask必须是来自同一个application的不同阶段的subTask。注意：Flink划分Task主要有四种情况：（1）类似ke
转载
2023-08-18 16:40:49
140阅读
什么是parallelism？ 一个Flink程序是由多个任务组成（source、transformation和sink）。一个任务由多个并行的实例（线程）来执行，一个任务的并行实例（线程）数目就被称为该任务的并行度。 并行的意思，在Flink中代表每个任务的并行度，适当的提高并行度可以大大
转载
2024-04-30 21:31:44
877阅读
有效的避免代码提交冲突，有效的避免git提交冲突
原创
2022-11-18 00:04:06
276阅读
【引言】
在Java开发中，我们经常会遇到需要处理异步任务的场景。异步任务可以提高程序的性能和响应能力，但同时也会带来并发和竞态条件等问题。为了避免并发问题，我们可以使用一些技术和方法来确保异步任务的顺序执行，避免并行执行。本文将介绍一些常用的方案，以及如何实现它们。
【问题分析】
在并行执行异步任务时，可能会出现以下问题：
1. 数据竞态条件：多个任务同时访问和修改共享的数据，可能导致数据不一
原创
2023-10-21 17:55:44
39阅读
