Hbase是运行在Hadoop上的NoSQL数据库，
它是一个分布式的和可扩展的大数据仓库，
也就是说HBase能够利用HDFS的分布式处理模式，
并从Hadoop的MapReduce程序模型中获益。
这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。
除去Hadoop的优势，HBase本身就是十分强大的数据库，
它能够融合key/
转载
2024-07-08 19:24:43
29阅读
目录HBase数据模型1. HBase逻辑结构2. HBase物理存储结构3. 数据模型(相关术语)1）Name Space2）Table3）Row4) RowKey5）Column Family6) Column Qualifier7）TimeStamp8）Cell9）Region HBase数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase
转载
2023-08-23 20:08:48
36阅读
在Kubernetes（K8S）领域，运维IT是非常重要的，它涉及到管理和维护K8S集群，确保集群的高可用性和稳定运行。在实际操作中，需要做的事情包括监控集群状态、调整资源、部署应用程序、进行故障排除等工作。接下来我将通过一步一步的指导，教你如何实现“运维IT是干嘛的”。
首先，让我们以表格形式展示整个流程的步骤：
| 步骤 | 操作
原创
2024-05-16 11:05:50
34阅读
## 运维是干嘛的？ - 从开发者的角度解释
在软件开发的过程中，开发者编写代码，通过编译、测试和部署将应用程序推送到生产环境中。而在这个过程中，运维（DevOps）则扮演着至关重要的角色，负责确保应用程序持续稳定地运行在生产环境中。运维的工作主要包括配置、监控、维护、优化以及故障排除等任务。
为了更好地理解运维的工作内容，我们可以通过Kubernetes（K8S）这一流行的容器编排平台来说明
原创
2024-05-16 11:08:03
94阅读
# HBase ThriftServer是干嘛用的
## 一、流程介绍
为了帮助你更好地理解HBase ThriftServer是干嘛用的，我将通过以下表格展示整个流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装和配置HBase ThriftServer |
| 2 | 启动HBase ThriftServer |
| 3 | 使用Thrift编程接口连接HB
原创
2024-05-21 05:29:13
120阅读
运维是干嘛？
作为一名经验丰富的开发者，我能理解刚入行的小白对于“运维是干嘛”这个问题感到困惑。在当今云原生技术的蓬勃发展中，Kubernetes (简称 K8S) 作为一种用于自动部署、扩展和管理容器化应用程序的开源容器集群管理系统，扮演着至关重要的角色。因此，深入了解K8S的运维工作对于保证应用程序的稳定运行和高效管理至关重要。
首先，我将向你介绍一下整个K8S运维的流程，然后逐步解释每个
原创
2024-05-16 11:07:08
44阅读
# 如何在HBase中实现维表
HBase是一种分布式的、可扩展的NoSQL数据库，特别适用于处理大量的数据。维表（Dimension Table）通常用于数据仓库，可以存储与事实表（Fact Table）相关的维度信息。本文将指导您步骤如何在HBase中实现维表，并提供相关的代码示例和解释。
## 1. 流程概述
在实现维表的过程中，我们将遵循以下步骤：
| 步骤 | 描述 |
|---
原创
2024-09-06 04:17:50
31阅读
博文说明：1、研究版本hbase0.94.12；2、贴出的源代码可能会有删减，只保留关键的代码 从client和server两个方面探讨hbase的写数据过程。一、client端 1、写数据API 写数据主要是HTable的单条写和批量写两个API，源码如下：//单条写API
publicvoid put(final Put put) throws I
转载
2023-07-20 23:05:12
93阅读
运维指互联网运维，通常属于技术部门，即运维部。运维的职责是保证服务的稳定运行，考虑服务的可扩展性，从系统的稳定性和可运维性的角度，提出开发需求，定位系统的问题，并对突然出现的问题做到快速响应和处理。运维的职责覆盖了产品从设计到发布、运行维护、变更升级及至下线的生命周期，与研发、测试、系统管理同为互联网产品技术支撑的4大部门。运维的日常工作：1、需要对系统的需求和设计方案进行分析，思考在保证稳定性方
转载
2023-06-16 21:18:29
17阅读
前言运维是个什么岗位？运维是管理服务器的，运维是管理代码仓库的，运维是维护公司线上服务的，运维是做成本管理的，运维是帮开发发布版本的，运维是SRE ……等等。有时候和朋友相聚，总是会问到：你们在公司主要做什么事情？有些时候我也愣了一下，脑袋里快速回想自己在公司做了什么事情。部署环境、服务器管理、帮人排查问题、也许还有修电脑，但是好像就没有一个专注的事情。每次想到这儿，我也不知道应该怎么回答我的朋友
转载
2023-07-23 12:23:40
164阅读
# 使用 Apache Flink 实现维表 HBase
Apache Flink 是一款强大的流处理框架，当我们需要实现流数据与维表数据的联合查询时，可以利用 HBase 存储维表数据。本文将指导你如何使用 Flink 实现维表 HBase。
## 1. 整体流程概述
为了便于理解，下面是实现过程的步骤和顺序。
| 步骤编号 | 步骤描述 |
|-------
原创
2024-08-25 06:27:51
34阅读
# Flink 和 HBase 维表的应用
### 1. 什么是维表？
在数据处理和分析的场景中，维表（Dimension Table）是一个用于存储描述性信息的表。通常与事实表（Fact Table）关联，用以丰富数据内容并提供细致的上下文。维表在数据仓库和大数据处理中的应用广泛，比如提高查询的速率和效率。
### 2. Flink 和 HBase 简介
**Apache Flink**
原创
2024-08-17 07:40:49
17阅读
# HBase 3维表的实现指南
作为一名新手，学习如何在 HBase 中实现三维表可能会感觉有些复杂，但只要掌握了基本的步骤和代码，就不难。 HBase 是一个分布式的、可扩展的 NoSQL 数据库，非常适合处理大数据。本文将以简单易懂的方式指导你完成这个任务。下面是实现过程的概述：
| 步骤 | 描述
构建在HDFS之上的分布式，面向列的存储系统，使用zookeeper做协同服务，在需要实时读写和随机访问超大规模数据集的时候使用
缺点：非关系型，不支持SQL，数据类型单一（字符串，无类型），之支持单行事物
优点：大（上亿行，百万列），面向列/列簇的存储和控制权限，稀疏存储（对于NULL列不占空间），无模式，多版本
为了解决公司数据统计，数据分析等各种问题，我们可以有很多手段，最常用的手段就是通过构建数据仓库的手段来实现我们的数据分析，数据挖掘等，其中，数据仓库基本上都是统计前一天的数据，或者最近一段时间的数据，这就决定了数据仓库一般都是使用离线的技术来实现，通过离线的技术手段，来实现前一天或者近一段时间的数据统计功能，为了解决数据统计的时效性问题，我们也可以通过实时的手段来构建数据仓库，通过流式API，结合
转载
2023-09-25 16:10:55
192阅读
1.概述Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关参数对应的类SecurityOptions。HadoopModule用来对使用UserGroupInformation进行身份验证的框架（kudu、hbase同步框架、hdfs等）进行认证配置。 JaasModule用来对使用JaasConfig进
转载
2023-09-04 13:32:22
215阅读
### Kubernetes运维干嘛的？
Kubernetes（简称K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。作为一名经验丰富的开发者，我将向你介绍Kubernetes运维的流程以及其中涉及的代码示例。
#### 运维流程
下面是Kubernetes的基本运维流程，可以用表格展示如下：
| 步骤 | 操作
原创
2024-05-16 11:06:54
11阅读
常用工具 文件修复 hbck 文件查看 hfile WAL查看工具 hlog 压缩测试工具 compressTest（字段前缀编码以及block压缩设置后进行测试） 数据迁移工具copyTable 导出工具：export 导入工具：import 日志回放：WALPlayer region和regio
转载
2018-04-15 17:20:00
93阅读
2评论
前言 前段时间小编分享过GIS矢量数据压缩技术-GeoBuf，并对源码做了相关完善，后面一直想将该技术应用在实际的工程中。于是在2021年年末有了新的想法，刚好想做一个Hbase数据管理的工具箱，涉及到shp、gdb等数据存到Hbase数据库中以及Hbase数据写出至shp或gdb中，其中有数据传输过程，便将geobuf技术融合到工具中。背景&n
转载
2023-07-14 15:56:21
192阅读
流计算中一个常见的需求就是为数据流补齐字段。因为数据采集端采集到的数据往往比较有限，在做数据分析之前，就要先将所需的维度信息补全。比如采集到的交易日志中只记录了商品 id，但是在做业务时需要根据店铺维度或者行业纬度进行聚合，这就需要先将交易日志与商品维表进行关联，补全所需的维度信息。这里所说的维表与数据
转载
2024-01-26 09:33:52
102阅读
