.HBase是一个在HDFS上开发的面向列的分布式数据库，用于实时地随机访问超大规模数据集。原本的关系型数据库并非为大规模可伸缩的分布式处理而设计，虽然也有复制(replication)和分区(partitioning)的改善方案，让数据库能够从单个节点扩展出去，但难以安装与维护，而且会牺牲
Kerberos协议简介：Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。协议内容：client：需要进行认证的客户端KDC（Key Distribution Center）= 密钥分发中心AS（Authentication Server）= 认证服务器TGS（Ticket Granting S
转载
2023-12-24 10:25:26
97阅读
这几天在写一个spark的程序做数据的迁移工作，但是我看了一下cm管理的spark的版本是1.6.0的spark（我们集群安装的cm的版本是5.14.0的版本）于是就要将spark2集成到我们的大数据管理平台当中去。步骤如下：通过这张图我们可以看到，在cm的管理平台上，有两种集成模式的spark。其中一个是spark on yarn模式的spark，一种是spark 在standlon
转载
2024-02-01 15:01:31
27阅读
# 如何关闭HBase安全认证
HBase是一个分布式的、可扩展的、可靠的NoSQL数据库，它通常用于存储和处理大规模数据。在HBase中，默认启用了安全认证机制，需要用户提供有效的身份凭证才能访问和操作数据库。然而，在某些情况下，我们可能需要关闭HBase的安全认证，例如在开发环境中或者用于测试目的。本文将介绍如何关闭HBase的安全认证。
## 步骤一：编辑hbase-site.xml配置
原创
2024-01-11 11:59:34
136阅读
容器： 实际上是一个由Linux Namespace，Linux Cgroups 和rootfs三种技术构建出来的进程的隔离环境。 一个正在运行的linux容器： 1.一组联合挂载在/var/lib/docker/aufs/mnt上的rootfs,这一部分我们成为“容器镜像” 2.一个由namespace+cgroups构成的隔离环境，这个部分我们称为容器运行时。kubernetes项目架构： 1
# 深入了解 KBS Docker
在当今互联网时代，Docker 技术已经成为云计算和容器化领域的热门话题。而 KBS Docker 作为其中的一个分支，更是备受关注。本文将介绍 KBS Docker 的基本概念、使用方法以及示例代码，帮助读者更好地理解和应用这一技术。
## 什么是 KBS Docker？
KBS Docker 是 Kubernetes（K8s）和 Docker 的结合，
原创
2024-05-07 04:30:56
54阅读
# Docker KBS：从入门到实践
作为一名经验丰富的开发者，我很高兴能帮助刚入行的小白了解如何实现“docker kbs”。在这篇文章中，我将详细介绍整个流程，并提供必要的代码示例和注释。
## 流程概述
首先，让我们通过一个表格来概述实现“docker kbs”的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装Docker |
| 2 | 拉取KBS
原创
2024-07-17 10:14:26
43阅读
本周精读的文章是 Comparing the New Generation of Build Tools。前端工程领域近期出了不少新工具，这些新工具都运用了一些新技术或者跨领域技术，实现了一些突破，因此有必要了解一下这些工具都有什么特性，以及是否可以投入生产环境。由于原文比较啰嗦，所以具体用法和支持细节不在这里展开，如果想进一步了解细节，可以直接阅读 原文。精读按照从底层到上层的封装粒度，以 es
日志同步线程 HLog$LogSyncer hbase.regionserver.optionallogflushinterval默认1秒配置log syncer线程扫描间隔更新、增加、删除操作会触发一次WAL，而WAL是同步写入到hadoop的，也就是先写WAL，再做更新(或者删除)这些操作是在handle线程中完成的1.handle先创建一个WAL，放入队列中2.之后检查
转载
2023-11-13 06:32:44
53阅读
# 教你如何实现 KBS 和 Docker
在软件开发领域，KBS（知识库系统）和 Docker 都是非常重要的技术。KBS 用于管理和存储知识，而 Docker 是一种帮助开发者在容器中打包、分发和管理应用程序的工具。本文将指导你如何将 KBS 与 Docker 结合使用，下面是整个流程的概述。
## 流程概述
| 步骤 | 描述 |
|------|------|
| 1 | 安装
原创
2024-08-29 06:07:17
64阅读
HDFS中集成了Kerberos安全认证情况下，GBase 8a集群节点部署Kerberos客户端后，即可以执行加载或导出Kerberos认证下的HDFS文件。1、GBase集群安装Kerberos客户端Kerberos客户端的安装与配置主要分为以下几个步骤：在GBase 8a的所有集群节点上，安装Kerberos客户端安装包，再将Kerberos客户端配置文件/etc/krb5.conf由KDC
转载
2023-10-19 13:04:39
52阅读
转自：http://www.linkwan.com/gb/broadmeter/speedauto/about/aboutspeed.htm
上网速度的概念
通常地，我们认为上网速度就是打开网页或是在网上下载文件的速度。让人等待的时间长的，当然是速度比较慢啦。
但是，如果要准确地描述上网的速度，则要使用数据来说明了。
我们经常会听到很多人这样描述上网
转载
精选
2012-10-05 23:35:25
10000+阅读
跟WAL有关的优化参数有：hbase.regionserver.maxlogs：Region中的最大WAL文件数量，默认值是32。 当WAL的数量超过这个阀值之后就会引发WAL日志滚动，旧的日志会被清理掉。hbase.regionserver.hlog.blocksize：HDFS块大小，没有默认值，如果不设定该值，HBase就会直接调用HDFS的API去获取出。hbase.regio
AutoFlush 通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存的时候，才会向HBase服务端发起写请求。默认情况下auto flush是开启的。WAL Flag 在HBase中，客户端向集群中的RegionServer提交数据时（P
转载
2024-08-29 09:08:46
65阅读
# 安装证书生成工具wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd wget https://pkg
原创
2022-02-18 14:33:21
199阅读
vim ~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 //JDK安装路径export HADOOP_HOME=/usr/local/hadoop &
转载
2023-05-30 11:24:49
543阅读
简介WAL(Write-Ahead-Log)预写日志是Hbase的RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志。在每次Put、Delete等一条记录时，首先将其数据写入到RegionServer对应的HLog文件中去。客户端向RegionServer端提交数据的时候，会先写入WAL日志，只有当WAL日志写入成功的时候，客户端才会被告诉提交数据成功。如果写WAL失败
转载
2023-07-12 23:45:14
293阅读
# 安装证书生成工具wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 chmod +x cfssl*...
原创
2021-08-25 10:30:39
399阅读
HBase Compaction策略RegionServer这种类LSM存储引擎需要不断的进行Compaction来减少磁盘上数据文件的个数和删除无用的数据从而保证读性能。RegionServer后台有一组负责flush region的线程(MemStoreFlusher)，每次从flushQueue中拿出一个flush region请求，会检查这个region是否有某个store包含的store
转载
2023-07-21 18:49:39
170阅读
HBase 架构101 –预写日志系统 (WAL)什么是预写日志WAL? 之前的文章我们简单介绍了HBase的存储结构。其中提到了预写日志。这里，我们要介绍它的实现细节，所有的描述都基于HBase 0.20.3.WAL最重要的作用是灾难恢复。和MySQL 的BIN log类似，它记录所有的数据改动。一旦服务器崩溃，通过重放log，我们可以恢复崩溃之前的数据。这也意味如果写入WAL失败，
转载
2023-07-14 20:19:42
101阅读
