本次的业务是基于短信发送之前，去做黑名单的校验和发送内容的检测，因此，在进行下一步业务之前，我需要等待黑名单的查询结果，由于线上环境的Hbase出故障，导致整个业务堵塞，因此，想到了对hbase异常做上容错机制，因此，有了以下的内容 try {
counts = hbaseService.get("cmcc_sms_blacklist",serviceId,"counts","count"
转载
2023-09-01 11:45:35
133阅读
一般准则总是先从主服务器的日志开始。通常情况下，他总是一行一行的重复信息。如果不是这样，说明有问题，可以Google或是用search-hadoop.com来搜索遇到的异常。错误很少仅仅单独出现在HBase中，通常是某一个地方出了问题，引起各处大量异常和调用栈跟踪信息。遇到这样的错误，最好的办法是往上查日志，找到最初的异常。例如区域服务器会在退出的时候打印一些度量信息。Grep这个转储 应该可以找
转载
2023-07-21 15:57:19
18阅读
1.启动hbase之后，Hmaster老是挂掉 如图，我的Hbase在启动之后Hmaster总是会莫名其妙的挂掉。 首先遇到问题了之后，先是查看了hbase的日志文件查看报错信息，发现相关问题的报错信息如下图所示： 当然目前我看这些还是看不懂的，所以我就把报错信息复制进行百度，查找相关的解决方法，通过百度查找，看到好多解决方法都是说将zookeeper当中的hbase缓存清除掉或者直接删掉hdfs
转载
2023-07-14 22:10:12
186阅读
Master故障恢复原理在HBase体系结构中，Master主要负责实现集群的负载均衡和读写调度，并没有直接参与用户的请求，所以整体负载并不很高。HBase采用基本的热备方式来实现Master高可用。通常情况下要求集群中至少启动两个Master进程，进程启动之后会到ZooKeeper上的Master节点进行注册，注册成功后会成为ActiveMaster，其他在Master节点未注册成功的进程会到另
转载
2023-08-18 21:27:54
185阅读
hbase官方配置说明地址：http://hbase.apache.org/book.html#hbase_default_configurations 1 写入阻塞表现为服务器数据无法写入，RegionServer经常宕机，修复方法优先级从高到低：1.1 RegionServer堆内存设置太小默认1GB，Memstore占40%，非常容易阻塞1.2
转载
2023-09-26 22:43:43
112阅读
## HBase单点故障解决方案
### 引言
HBase是一个分布式的、可伸缩的、面向列的NoSQL数据库，建立在Hadoop分布式文件系统（HDFS）之上。它提供了高可用性和高可伸缩性，支持海量数据的存储和实时读写。然而，由于其分布式特性，HBase也存在单点故障的风险。
### 什么是HBase单点故障
在HBase环境中，单点故障指的是当HBase集群中的某个关键节点（例如主节点、区域
原创
2024-02-01 09:10:03
90阅读
场景：hadoop集群已经进行kerberos认证启动Hbase相关配置Hbase权限分为以下五种：Read(R) : 可以读取给定范围内数据的
原创
2023-05-06 15:06:30
557阅读
一、安装前提1、对于Hbase来说，安装方式与Hadoop类似，分为单节点安装、伪分布式安装和完全分布式安装。单节点安装：单节点安装不依赖与Hadoop，使用本地的文件系统，所有的进程都在一个jvm里面，通常用于测试，这里就不进行演示了。伪分布式安装：伪分布式安装通常也是用于测试，进程存在与独立的jvm里面，但是底层存储使用的Hadoop，所以需要先安装Hadoop(分布式或者伪分布式都行)。分布
转载
2023-07-12 11:05:44
187阅读
HBase节点故障的容错方案1. Master高可用1.1 选主和HA切换逻辑2. RS高可用2.1 感知RS节点异常2.2 异常DN上的数据处理4. 疑问和思考5. 参考文档 本文主要探讨hbase集群的高可用容错方案和容错能力的探讨。涉及Master和RS相关组件，在出现单机故障时相关的容错方案。1. Master高可用1.1 选主和HA切换逻辑Master的HA机制主要依靠zk完成。整体的
转载
2024-06-17 05:20:27
45阅读
案例背景：各位，相信各位都有浏览凤凰网的历史，那么凤凰网的广告相信各位也都点击过，可是各位有没有发现一个现象。当你某天点击一个广告后，后面的几天都会出现类似的广告，现在各个大的网站都会有这样的现象。比如你今天点击了家具的广告，那么之后，你就会发现跳出来的广告都是与家具有关。用户行为分析。也许各位都对这个名词不会陌生。而这就是现实中的一个典型的用户行为分析案例。用户行为分析，分析的是数据，数据从
转载
2023-09-06 12:31:04
94阅读
# HBase管理指南
## 操作流程
下面是实现HBase管理的步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 连接HBase |
| 步骤二 | 创建表 |
| 步骤三 | 插入数据 |
| 步骤四 | 查询数据 |
| 步骤五 | 删除数据 |
| 步骤六 | 删除表 |
## 具体操作步骤及代码
### 步骤一：连接HBase
首先需要连接到
原创
2024-02-24 07:59:08
37阅读
目录1、HBase高级编程1.1、协处理器——Coprocessor1.2、协处理加载方式1.3、二级索引（ObserverCoprocessor 案例）2、往HBase插入数据1、HBase高级编程1.1、协处理器——Coprocessor1、起源HBase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.
1.1发生背景很久很久以前，有一天，我在HBase中新建了一张表 “XXX: XXX _EXCEPTION_LIST_INFO”，同时HBase在处理大量更新操作。然后在DROP掉表XXX: XXX_EXCEPTION_LIST_INFO时，HBase Master就宕机。之后通过CM重新启动后HBase服务，服务重启后发生如下两个错误，导致HBase集群无法正常恢复：(1)HMaster节点自动
转载
2024-04-28 21:11:02
87阅读
文章目录服役（commissioning）退役（decommissioning）服役（commissioning）① 往集群中增加一个新的RegionServer节点；② 将退役的重新上线。当启动RegionServer时，RegionServer会向HMaster注册并开始接收本地数据，开始的时候，新加入的节点不会有任何数据，平衡器开启的情况下，将会有新的Region移动到开启的Regi...
原创
2024-04-22 11:00:16
72阅读
HBase的RowKey设计目录HBase的RowKey设计rowkey唯一原则rowkey长度原则rowkey散列原则热点问题加盐哈希反转时间戳"反转"其他一些建议HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯
转载
2023-07-20 12:38:14
58阅读
文章目录问题原因定位产生异常的原因解决方案（供参考）降低写入批次大小提高 MemStore 内存（谨慎使用）减少阻塞时间bulkload 导入数据热点（数据倾斜）HBase 的 rowkey 设计原理HBase 的 rowkey 生成策略加盐哈希反转时间戳反转 问题 刚开始用 HBase 的时候如果数据量比较大，经常会遇到下面这个异常：org.apa
转载
2023-11-24 08:55:59
246阅读
[TOC]HBase笔记整理（二）逻辑结构RowKey第一位
ColumnFamily
ColumnQuiauer
value(TimeStamps)
Cell物理结构HMaster ----->NameNode管理节点，用于管理HBase中的Table和Region的结构操作，比如用户增、删、修改表的操作。
在HBase集群中，可以启动多个HMaster
转载
2024-05-04 10:40:00
70阅读
hbase 新增节点
关于Hbase的集群管理1、如果只增加集群的存储量，建议增加Hadoop datanode节点。
方法：
停掉集群包括hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。执行b
转载
2023-12-05 23:19:14
36阅读
作者： 蒋燚峰 1.2 快速入门HBase有两种运行模式：单机运行（Standalone）模式和分布式运行（Distributed）模式。单机运行模式是HBase的默认模式。在单机模式中，HBase会使用一个本地文件系统来代替HDFS，并且在同一个JVM上运行所有的HBase守护进程和HBase管理的ZooKeeper实例。本节将介绍单机HBase的安装。内容包括：安装HBase、以单机模式启动H
转载
2024-06-20 19:40:11
47阅读
整个Hadoop生态中大量使用了master-slave的主从式架构，如同HDFS中的namenode和datanode，MapReduce中的JobTracker和TaskTracker，YARN中的资源管理器和节点管理器，Zookeeper中的leader和follower。我们将看到HBase同样是基于这种主从式的一种运行机制。一个master节点协调管理
转载
2023-08-01 16:28:02
89阅读
