部分情况下： 大坑， 和 package com.xiaomi.mishell.statusbar import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.Put import o
原创
2021-09-14 11:17:30
139阅读
# 使用 Spark 写入 HBase 的速率实现指南
在大数据处理中，我们常常需要将大量数据写入到 HBase 这样的 NoSQL 数据库中。Spark 提供了便利的接口，可以更高效地进行数据写入。本文将引导你如何实现 Spark 写入 HBase 并控制写入速率。
## 整体流程
以下是实现 Spark 写入 HBase 的整体流程：
| 步骤 | 描述
原创
2024-10-24 06:07:44
32阅读
当处理实时数据是聚合类的运算是,可以写入到mysql中,因为数据量不大,但如果是非聚合类的数据,mysql中存放不下,此时可以使用支持覆盖写入或事务的大型数据库,例如:hbase,ES,clickhousehbase在写入数据时如果行键相同的数据写进来就会覆盖原始数据,所以当我们在运算时将每条数据赋予唯一的行键(例如:订单号,或者设备号加时间戳),即使一批数据写入到一半时中断了,重新写入时会覆盖之
转载
2023-08-11 14:57:14
72阅读
本篇主要讲HBase的部署，Apache HBase provides large-scale tabular storage for Hadoop using the Hadoop Distributed File System (HDFS)1 安装HBase apt-get install hbase2 &nbs
转载
2024-03-02 10:39:14
77阅读
1.简介 Phoenix将SQL带回到了NOSQL的世界，其在HBase之上做了一个layer，客户端通过SQL调用Phoenix，Phoenix在转化为HBase客户算API进行访问HBase，其很多计算也是通过HBase的协处理器的机制来完成的。当前很多场景下使用CDH版本的HBase,可惜Cloudrea公司并没有官方支持，内有将Phoenix纳入发布版本中，所以造成社区的Phoenix并
转载
2024-01-09 23:37:24
94阅读
前言0.闲话少说,直接上代码 1.自定义的Kafka生产者实时向Kafka发送模拟数据; 2.Streaming使用Direct模式拉取Kafka中数据,经处理后存入HBase.一、依赖文件(注意HBase版本对应)<!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 -->
<repositories>
<reposi
转载
2023-08-20 11:53:40
60阅读
前戏: 1.spark操作结构化数据利用hbase进行去重 2.大致思路:将数据处理成结构化数据–>spark调用hadoop api 将数据以hfile形式存入hdfs—>以bulkload方式将数据批量导入hbase 以下以cdh5.16.2生产环境为例: hadoop版本:2.6.0 hbase版本:1.6.0 spark2版本:2.4.0 zk版本:3.4.51.所需依赖:&l
转载
2024-02-25 12:14:12
179阅读
compact一中介绍了HBASE compact的调度流程，本篇文章主要介绍实际进行compact的过程。先从上文中的chore中接入，在HRegionserver中的compactChecker chore方法中，会判断是否需要compact，如下：protected void chore() {
//遍历instance下的所有online的region 进行循环检测
1 文档编写目的本文档讲述如何升级Cloudera Manager和CDH，通过本文档，您将学习到以下知识：1.如何对Cloudera Manager进行停机升级2.如何对CDH进行停机升级3.如何在不影响集群作业的情况下进行CDH滚动升级文档主要分为以下几步：1.Cloudera升级概述2.Minor版本Cloudera Manager和CDH升级3.Maintenance版本滚动升级CDH4.
下列代码，涉及到数据Kafka接入，数据Spark算子数据处理，Kafka偏移量记录，数据反压，数据批量插入Hbase等所有操作步骤。package com.data;
import com.alibaba.fastjson.JSON;
import com.entity.ImsiDataDTO;
i
转载
2024-02-19 22:48:01
31阅读
主类：/**
* TODO:精确一次：
* 如果是聚合类运算： 使用事务，将聚合的结果和offset一起保存
* 如果是非聚合类的运算： 可以使用 at least once + 幂等输出 实现 精确一次
* --
* at least once： 取消offset的自动提交 + 将offset维护到kafka
* 幂等输出: 使用h
转载
2023-08-04 21:21:36
133阅读
分布式消息缓存Kafka
1、消息中间件：生产者和消费者 生产者、消费者、数据流（消息）
发布和订阅消息容错存储消息记录处理流数据
Kafka架构：
procedure：生产者
consumer：消费者
broker：容错存储
topic：分类主题、标签
consumer gro
转载
2024-07-18 09:59:31
53阅读
1. 查看CDH 安装的hadoop 和 hbase 对应的版本具体可以参考以下博客：https://www.cxyzjd.com/article/spark_Streaming/108762904直接给出答案hadoop 版本 3.0.0hbase 版本 2.1.02. 在 github 找到其hbase版本对应的geomesa的版本github 地址:https://github.com/lo
转载
2023-06-14 17:44:08
231阅读
作者：小小默Spark Streaming应用与实战系列包括以下六部分内容：背景与架构改造通过代码实现具体细节，并运行项目对Streaming监控的介绍以及解决实际问题对项目做压测与相关的优化Streaming持续优化之HBase管理Streaming任务本篇为第二部分，包括Streaming持续优化之HBase以及管理Streaming任务。五、Streaming持续优化之HBase5.1 设置
转载
2023-12-12 15:03:38
109阅读
【CDH CM版本5.13以下】解决「通过Parcel对spark2版本升级无法发现服务」问题前言现象报错报错原因新升级方案操作留档准备版本升级升级验证版本回退回退验证后记 前言公司对于CDH5.10(注意这个版本)有三个物理集群（非云服务，自有机房），其中两个作为生产，一个作为测试，。生产集群目前都处于满负荷运载的状态，随着业务数据增生，计算方面的瓶颈已较为明显。 对于生产集群的性能提升团队已
转载
2024-04-21 19:36:18
58阅读
简介：在我的CDH5.13集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。这里做一下安装spark2.3版本的步骤记录。
一. 安装准备csd包：http://archive.cloudera.
转载
2024-03-08 16:41:16
74阅读
①csd包：http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar②parcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/ 下载SPARK2-2.2.0.cloudera1-1.cdh5
转载
2023-10-26 14:26:37
108阅读
第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz第二步：压缩包上传并解压 cd /export/softwares rz+
转载
2023-11-27 16:59:04
99阅读
HBase安装步骤一、准备工作二、安装步骤（一）解压（二）HBase配置1.配置hbase-env.sh2.配置hbase-site.xml（三）环境配置（四）启动hbase（五）关闭hbase三、hive + hbase 前言：下文中的IP地址、文件路径、主机名等，请根据您自己的实际情况，进行修改和配置。 一、准备工作安装一台虚拟机（★★★ 虚拟机 CentOS 7的安装步骤 ★★★）启
转载
2024-01-20 14:02:03
57阅读
笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下，结果出现了一系列问题。其中最重要的一个问题竟然是，笨小葱想去找我在mr程序中打的日志，竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。1.打包运行mr这里笨小葱执行 hadoop jar xxx.jar时，报了一个错误:Exception in thread "main" java.lang.N
转载
2023-08-17 22:47:12
231阅读
