一、服务器参数调优 1、hbase.regionserver.handler.count：增加服务器的处理线程数 hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10。这样设置的目的是防止服务器在某些情况吓出现内存耗尽的情况。 如果服务器上的可用内存较少，就应该将该属性设置为较低的值。如果每个请求只需要一点点的内存，但是每秒TPS却很高，
转载
2023-07-04 09:49:23
130阅读
一直疑惑Hbase怎么更新hdfs文件。因为HBase是一个支持高并发随机读写的数据库，而hdfs只适合于大批量数据处理，hdfs文件只能写一次，一旦关闭就再也不能修改了。而HBase却将数据存储在hdfs上！让人费解。原来的猜想是Hbase每次将更新写入磁盘都会创建一个新的hdfs文件，存放该数据旧版本的文件需要合并并最终丢弃，如果是这样的话，其随机读写的性能如何保证？在网上找到了两篇文章很好的
转载
2023-08-18 13:22:23
48阅读
一、准备工作$ hostnamectl set-hostname hadoop01
$ hostnamectl set-hostname hadoop02
......
所有机器关闭防火墙
$ systemctl stop firewalld.service
设置Master到其他机器的ssh免密登录
$ ssh-kengen
$ ssh-copy-id hadoop01
$ ssh-copy-i
转载
2023-07-04 14:38:05
76阅读
研发环境下搭建了一套基于CDH5的大数据平台。在重启服务器后发现HBase组件启动异常，如图HBase Master 运行状况不良 RegionServer运行状况不良 所有的RegionServer角色全部停止，启动时报错。查看角色日志Master rejected startup because clock is out o
原创
2016-12-04 16:42:11
4595阅读
HBase建表的基本准则常见rowKey设计遇到的问题以及相应的解决方案建模案例分析：电商中宝贝点击量建模示例HBase客户端的使用HBase优化HBase连续分页问题查询的参考解决方案分享的目的：合理地使用HBase，发挥HBase本身所不具有的功能，提高HBase的执行效率一、HBase建表的基本准则1. family数量的控制:不能太多，建议不要超过2个，一般的情况 下，一张表，一个fami
目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰到的各种各样的问题，这里打算写一篇文章记录下调G1的一些经验。先传送门一下，之前在HBaseConAsia2017分享过一个G1GC调优的PPT: http://openinx.github.io/2012/01/01/my-share/首先，对G1算法不熟悉的同学，可以仔细读
原创
2021-03-29 21:04:35
678阅读
有需要加入Hbase讨论组的同学直接私聊我回复：Hbase加群，拉你进官方讨论群。目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰...
转载
2021-06-10 21:32:35
301阅读
有需要加入Hbase讨论组的同学直接私聊我回复：Hbase加群，拉你进官方讨论群。目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰...
转载
2021-06-10 21:32:36
607阅读
## 实现Docker CDH5的步骤
为了让新手开发者能够更好地理解和实现Docker CDH5，我将按照以下步骤进行说明：
```mermaid
flowchart TD
A[准备环境] --> B[安装Docker]
B --> C[配置Docker镜像加速]
C --> D[拉取CDH5镜像]
D --> E[创建并启动CDH5容器]
```
###
实践中，HBase使用的内存不断增长，但JDK可用的垃圾收集算法仍然相同。这导致了HBase的许多
转载
2023-05-19 12:23:28
208阅读
目录组件版本0.CDH介绍1.Linux 虚拟机基础环境1.1 虚拟机环境设置（不改变已生的MAC地址）1.2 虚拟机修改Mac和IP1.3 虚拟机修改对应主机名与域名映射1.4 虚拟机关闭防火墙1.5 SELinux 关闭1.6 虚拟机免密码登录1.7 三台机器时钟同步 & 安装一些依赖包1.8 修改系统参数2. 安装 java3. 安装 mysql4. CM服务安装5. CDH等相关安
转载
2023-07-14 18:30:23
199阅读
同志们，此部分，重要的不能再重要了1、HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。hbasegc调优方向从0.94版本提出MemStoreLAB策略、MemstoreChuckPool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称会引入更多堆外内存，可
原创
2019-04-02 19:00:13
5450阅读
HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。从0.94版本提出MemStoreLAB策略、Memstore Chuck Pool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称会引入更多堆外内存，可见HBase会将堆外内存的使用作为优化GC的一个战略方向
转载
2023-07-21 15:46:47
67阅读
http://blog.csdn.net/yhl27/article/details/37726639
转载
2017-11-07 13:32:30
617阅读
1.堆内存分区在具体介绍GC调优前，先复习下JVM内存结构中的堆堆是JVM内存区域中所占空间最大的内存区域，是.
原创
2022-07-29 10:49:44
336阅读
Configuring HardWare For HDFS HA为了使用Quorum-based存储去部署一个HA集群，应该做如下准备1.NameNode：运行Active和Standbye的NameNode应该有等价的配置。2.JournalNode：运行Journalnode的节点3.JounalNode进程相对轻量，因此这些进程可以相对合理的和其他的进程并存，例如NameNode，JobTr
原创
2014-04-22 22:27:20
3057阅读
环境三台天翼云主机 （node209, node452, nod
原创
2023-07-24 18:04:39
66阅读
环境介绍：在我的CDH5.11.1的集群中，默认已经安装的spark是1.6版本，这里需要将其升级为spark2.1版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。官网发布Cl
转载
2023-08-31 20:58:17
81阅读
背景：已有CDH5.13.1，集成CDS 2.3.4(Apache Spark 2.3.4）。1. 环境：操作系统：CentOS7.3CM：CM-5.13.1CDH：CDH5.13.1JDK：1.8.0_151Scala：Scala 2.11.12 2. 集成步骤：2.1 环境准备按照官方文档要求安装好所有的软件：CDH版本CDH 5.9 +CM版本CM 5.11+ 
[TOC] GC和GC Tuning GC的基础知识 1.什么是垃圾 C语言申请内存：malloc free C++： new delete c/C++ 手动回收内存 Java: new ？ 自动内存回收，编程上简单，系统不容易出错，手动释放内存，...
转载
2021-04-20 09:03:00
544阅读
2评论
