前言Redis 是我们目前大规模使用的缓存中间件，由于他强调高效而又便捷的功能，得到了广泛的使用。单节点的Redis已经达到了很高的性能，为了提高可用性我们可以使用Redis 集群。本文参考了Rdis的官方文档和使用Redis官方提供的Redis Cluster工具搭建Rdis集群。Redis 集群的概念介绍Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installa
# Spark关联维表数据倾斜
在大数据处理中，关联维表是一种常见的数据处理方式。然而，在实际应用中，我们经常会遇到关联维表数据倾斜的问题。本文将介绍什么是关联维表数据倾斜，以及如何通过Spark解决这个问题。
## 什么是关联维表数据倾斜
关联维表数据倾斜是指在进行关联查询时，维表中的某些数据分布不均匀，导致Spark的任务负载不平衡。这会导致部分任务运行时间过长，整个任务的执行效率下降。
在做 mysql 或其他数据迁移的时候，有时候需要将两份或者多份数据进行合并，生产一份新的数据后进行使用，对于数据量较小的场景下，可以直接使用 sql 语句进行关联，但是对于两张或者多张千万级记录的表进行合并时，使用 sql 进行 join 操作是不现实的，在这些场景下，需要使用 spark 或者 hive 进行操作。本文介绍如何使用 spark 进行大数据量的合并。本文中提到的大表，数据量一般在
转载
2023-09-02 01:48:30
310阅读
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留
转载
2021-09-09 15:23:31
786阅读
在做维表关联如果要求低延时，即维表数据的变更能够被立刻感知到，所以就要求在查询时没有缓存策略，直接查询数据库维表信息。本篇以实时查询redis为例，要求redis 客户端支持异步查询，可以使用io.lettuce包，支持redis不同模式：单点模式、sentinel模式、集群模式，需要在pom中引入：<dependency> <groupId>io.l
原创
2021-02-05 20:48:22
1093阅读
简单一句: Spark 数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义 Partitioner，使用 Map 侧 Join 代替 Reduce 侧 Join(内存表合并)，给倾斜 Key加上随机前缀等。1. 什么是数据倾斜: 对 Spark/Hadoop 这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。数据倾 斜指的是，并行处理的数据集中，某一部分(如
spark 表关联
原创
2019-09-20 19:37:15
1035阅读
频繁项集，关联规则，支持度，置信度，提升度
在机器学习中，常用的主题有分类,回归，聚类和关联分析。而关联分析，在实际中的应用场景，有部分是用于商品零售的分析。在Spark中有相应的案例在关联分析中，有一些概念要熟悉。 频繁项集，关联规则，支持度，置信度，提升度。其中 频繁项集(frequent item sets) 是经常出现在一块的
在维表关联中定时全量加载是针对维表数据量较少并且业务对维表数据变化的敏感程度较低的情况下可采取的一种策略，对于这种方案使用有几点需要注意：全量加载有可能会比较耗时，所以必须是一个异步加载过程内存维表数据需要被流表数据关联读取、也需要被定时重新加载，这两个过程是不同线程执行，为了尽可能保证数据一致性，可使用原子引用变量包装内存维表数据对象，即AtomicReference查内存维表数据非异步io过程
Union package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo8Union { def main(arg ...
转载
2021-07-16 22:15:00
203阅读
2评论
摘要：本文由民生银行王健、文乔分享，主要介绍民生银行 Flink SQL CDC 实践以及一致性分析。内容包括：背景什么是 Flink SQL CDC ConnectorsFlink SQL CDC 原理介绍三种数据同步方案Flink SQL CDC + JDBC Connector 同步方案验证Flink SQL CDC + JDBC Connector 端到端一致性分析Flink SQL CD
参考链接： （1）Spark创建DataFrame的三种方法 （2）Spark创建DataFrame的几种方式 与关系数据库的表(Table)一样，DataFrame是Spark中对带模式(schema)行列数据的抽象。DateFrame广泛应用于使用SQL处理大数据的各种场景。 创建DataFrame有很多种方法，比如从本地List创建、从RDD创建或者从源数据创建。 创建DataFrame的几
转载
2023-08-01 13:23:40
110阅读
1. 业务背景 由于运营及产品需要，我们针对之前的离线画像来进行抽取，并将其转换成实时画像来提供给业务方进行接口查询服务。 数据来源为MySQL，维度数据来源于离线hive计算结果，针对本期是针对单用户的查询，所以我们会将具体的用户及相应的查询条件来组合，之后进行hbase单点查询，得到该用户的标签信息，而标签的写入通过flink写入hbase，目前有两个设想，一是将查询条件组合在rowkey上，
# 教你实现Spark SQL关联Redis
作为一名刚入行的小白，你可能对如何将Spark SQL与Redis关联起来感到困惑。别担心，这篇文章将为你提供详细的指导，帮助你轻松实现这一目标。
## 流程步骤
首先，让我们通过一个表格来了解整个流程的步骤：
| 序号 | 步骤描述 | 操作内容 |
| ---- | ---
# Spark小表关联大表实现流程
## 1. 环境准备
在开始实现"Spark小表关联大表"之前，我们需要先准备好以下环境：
- Spark集群：确保你已经正确配置了Spark集群，可以使用Spark的相关功能。
- 数据源：准备好需要进行关联的小表和大表数据。
## 2. 数据加载
在进行表关联之前，我们需要先将小表和大表的数据加载到Spark中。可以使用以下代码加载数据：
```
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。本文将您详
转载
2023-07-27 19:50:59
93阅读
目录11.6 联结（Join）查询11.6.1 常规联结查询11.6.2 间隔联结查询11.7 函数11.7.1 系统函数11.7.2 自定义函数（UDF）11.6 联结（Join）查询按照数据库理论，关系型表的设计往往至少需要满足第三范式（3NF），表中的列都直接依赖于主键，这样就可以避免数据冗余和更新异常。例如商品的订单信息，我们会保存在一个 “订单表”中，而这个表中只有商品 ID，详情则需要
## FlinkSQL关联MySQL维表实现流程
### 概述
在Flink中使用FlinkSQL对数据进行处理时，有时需要关联外部存储的维表数据。本文将介绍如何使用FlinkSQL实现关联MySQL维表的步骤和代码示例。
### 流程展示
下面是实现FlinkSQL关联MySQL维表的整体流程示意表格：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建Flink表执行环
原创
2023-07-20 17:21:32
178阅读
在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。在 Flink 流式计算中，我们的一些维度属性一般存储在 MySQL/HBase/Redis 中，这些维表数据存在定时更新，需要我们根据业务进行关联。根
转载
2023-07-26 11:09:20
288阅读
Flink中广播状态假设存在这样一种场景，一个是用户行为数据，一个是规则数据，要求通过规则去匹配用户行为找到符合规则的用户，并且规则是可以实时变更的，在用户行为匹配中也能根据规则的实时变更作出相应的调整。这个时候就可以使用广播状态，将用户行为数据看做是一个流userActionStream，规则数据也看做是一个流ruleStream，将ruleStream流中数据下发到userActionStre
原创
2021-02-06 13:52:31
548阅读
