# 科普文章：了解RedisSink队列
## 引言
在实时数据处理系统中，常常需要将数据从一个系统传输到另一个系统。而RedisSink队列正是一种用来实现这种数据传输的工具。本文将介绍RedisSink队列的基本概念、工作原理以及如何使用它来传输数据。
## 什么是RedisSink队列？
RedisSink队列是一种将数据写入Redis数据库的组件，通常被用于数据处理系统中的数据传输
原创
2024-04-14 06:18:07
50阅读
# Java RedisSink
## Introduction
Redis is an open-source, in-memory data structure store used as a database, cache, and message broker. It supports data structures such as strings, hashes, lists, se
原创
2024-05-06 04:42:37
18阅读
# 从Spark到Redis的数据传输方式：spark-redissink
在大数据处理领域，Spark 是一个广泛使用的开源分布式计算框架，而 Redis 则是一个开源的内存数据库，常用于缓存和数据存储。在实际应用中，有时候需要将 Spark 处理的数据传输到 Redis 中，这就需要使用 `spark-redissink` 来实现数据的传输。本文将介绍 `spark-redissink` 的
原创
2024-05-20 06:09:35
24阅读
# 如何实现“redissink 没有密码”
## 一、整体流程
```mermaid
journey
title 实现“redissink 没有密码”流程
section 开始
初始化项目: 2022-01-01, 1h
section 实现
了解redissink: 2022-01-02, 2h
编写代码: 2022-
原创
2024-03-23 04:18:10
9阅读
State & Fault Tolerance 这里写目录标题State & Fault ToleranceManaged Keyed StateValueStateListStateMapStateReducingStateAggregatingStateFoldingStateState Time-To-Live (TTL) (状态的生存时间)如何开启使用`提醒：`Cleanu
# 如何实现“flink redissink自定义hashkey”
## 概述
在Flink中，可以使用Flink Redis Connector来将数据流输出到Redis中。当我们需要自定义hashkey时，可以通过自定义SinkFunction来实现。
### 流程
下面是实现“flink redissink自定义hashkey”的步骤表格：
| 步骤 | 操作 |
| ------ |
原创
2024-03-23 08:20:12
28阅读
这两天主管让我给官网加上redis缓存因为原来打开页面太慢了，原来也没接触过redis所以花了两天走了不少弯路，为免忘记，在这记录一下。提醒一下这是我redis安装完成且配置了密码和服务为前提做的操作，没有安装redis的先安装redis。我也在另一篇写一下怎么安装redis吧。首先要在项目中添加依赖jar包，我项目用的maven管理所以直接在pom里添加了如下代码，如果没用maven，jar包就
转载
2023-12-06 20:13:49
10阅读
Flink异步IO源码简析。 使用Redisson框架封装的异步请求API。 对key进行异步累计递增计数和计算业务值并保存在Redis中。 Lua脚本和事务API。FLINK v2-异步IO的设计与实现Flink使用异步IO访问外部数据AsyncRedisJob代码AsyncFunction AsyncFunction是一个异步算子接口，本身继承Function和Serializable。 a
转载
2023-07-31 17:11:11
176阅读
今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic，默认为 kafka 的 topic )的关系，大概回答了一下，这里整理一份首先必须明确的是，Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的，而这个问题其实是问的是： 任务的并发数与 slot 数的关系最大并发数 = slot 数这里有两个原因：每个算子的
转载
2023-07-11 17:47:07
162阅读
一、SDS介绍 SDS又叫简单动态字符串，在Redis中默认使用SDS来表示字符串。比如在Redis中的键值对中的键一般都是使用SDS来实现。首先需要说明的是在Redis中，字符串不是用传统的字符串来实现，而是Redis自己构建了一个结构来表示字符串。优点如下：1、O(1)时间内获取字符串长度。(依据其结构特性，只需要访问其结构体成员len既可获得字符串长度)2、SDS提
转载
2023-12-06 21:05:56
71阅读
flink 提供了专门操作redis 的RedisSink，使用起来更方便，而且不用我们考虑性能的问题，接下来将主要介绍RedisSink 如何使用
原创
2023-12-23 23:00:06
183阅读
点赞
源码结构 RedisSink package org.apache.flink.streaming.connectors.redis; import org.apache.flink.configuration.Configuration; import org.apache.flink.strea
原创
2022-01-10 14:34:21
4129阅读
Flink的Redis-Sink具体实现步骤如下：可以参考Flink的官网RedisSink的具体实现：https://bahir.apache.org/docs/flink/current/flink-streaming-redis/1.引入官方的flink-redis-connector的maven依赖<!-- https://mvnrepository.com/artifact/org
转载
2023-06-14 17:20:01
157阅读
## 用Java Flink读取Redis订阅某一频道的流程
### 流程图
```mermaid
flowchart TD
A[创建Flink环境] --> B[创建Redis连接]
B --> C[创建RedisSink]
C --> D[创建Flink Job]
D --> E[配置Flink Job]
E --> F[执行Flink Job]
`
原创
2023-10-08 04:35:18
107阅读
戳更多文章：1-Flink入门2-本地环境搭建&构建第一个Flink应用3-DataSet API4-DataSteam API5-集群部署6-分布式缓存7-重启策略8-Flink中的窗口9-Flink中的TimeFlink时间戳和水印Broadcast广播变量FlinkTable&SQLFlink实战项目实时热销排行Flink写入RedisSink17-Flink消费Kafka写
转载
2024-05-10 19:02:21
198阅读
起因：使用flink的时候难免和redis打交道，相信大家都使用过flink-connector-redis来处理，但是当我想要使用RedisSink写入集群时，发现居然不支持使用密码，于是有了这篇笔记。 事情的经过是这样的，我准备用Flink往Redis写入数据，我照常引入flink-connector-redis包<dependency>
<
转载
2023-09-23 15:40:20
713阅读
戳更多文章：1-Flink入门2-本地环境搭建&构建第一个Flink应用3-DataSet API4-DataSteam API5-集群部署6-分布式缓存7-重启策略8-Flink中的窗口9-Flink中的TimeFlink时间戳和水印Broadcast广播变量FlinkTable&SQLFlink实战项目实时热销排行Flink写入RedisSink17-Flink消费Kafka写
戳更多文章：1-Flink入门2-本地环境搭建&构建第一个Flink应用3-DataSet API4-DataSteam API5-集群部署6-分布式缓存7-重启策略8-Flink中的窗口9-Flink中的TimeFlink时间戳和水印Broadcast广播变量FlinkTable&SQLFlink实战项目实时热销排行Flink写入RedisSink17-Flink消费Kafka写
转载
2023-07-11 17:19:16
330阅读
Flink 的 Redis 依赖 flink-connector-redis 里默认实现只能保存 String 类型的数据, 但很多时候开发需要保存更多其他类型的数据, 比如保存 ProtoBuf 数据的时候会更多选择将 ProtoBuf 对象转换成字节数组进行保存. 所以这里会简单实现自定义 RedisSink 保存字节数组的代码.依赖<dependency>
<gro
转载
2023-07-13 14:44:10
101阅读
其实这个问题比较蠢，但是当出现的时候还是比较懵圈，所以这里把排查问题的过程总结一下1.为什么需要手动导入maven仓库依赖？ 当我们在电脑没有翻墙的情况下去中央仓库下载依赖会非常非常的慢，而且很有可能 导致下载的包有问题，其实还是网络的问题，这个时候手动将jar包导入maven仓库就变得很快捷。 2.我在使用flink的redissink的时候遇到一些问题，就是我无法自定义ttl参数来控制键的过期
转载
2024-04-23 21:10:59
251阅读
