HBase与kafka集群 hbase 集群 最少几个节点

概述

在服务客户的时候，经常会被问到，我该选择什么配置的HBase呢？今天我们就来好好谈谈这个问题，希望能说清楚

基本架构

目前云HBase的基本架构为：

从架构图中，可以看出Master是主备的，且不存任何业务数据的；core节点至少2台，第一个节点为了节约节点，部署了一个zk，Core节点可以一直添加到100或者500个节点左右。

Master节点选择

Master节点的规格：2cpu4g起步，主要看集群的规格。参考以下的配置

core的规模	master选择
<=4台	2cpu4g
4台	4cpu8g
10	8cpu16g
20	16cpu32g
50	16cpu64g

Core节点选择

core阶段选择：4cpu8g起步，最大32cpu128g
以1KB为准：

QPS	core的个数及选择
0 ~ 1w	2台 4cpu8g
1w ~ 10w	>=2 8cpu32g 可以按照每台2w算，批量除外
10w ~5000w	>=2 16cpu64g 可以按照每台4w算，批量除外

由于每个节点挂4T的存储，如果QPS较少，存储较多。可以选择多台4cpu16g的规格或者8cpu32g

存储介质选择

对于存储，我们目前有三个介质，第一个是SSD介质，第二是高效介质(使用SSD与SATA的混合)，第三个介质是OSS，也就是直接基于我们的OSS服务。这个介质的特点就是：最热、一般热、温、冷的数据

冷热程度	介质类型	提供方式	业务类型
高性能	SSD云盘	HDFS方式，挂盘，包量	在线业务，延迟要求低，99.9 80ms以下
高效能	高效云盘	HDFS方式，挂盘，包量	在线业务，延迟要求一般，99.9 200ms以下
冷数据	OSS	接口方式提供，按需计费	准在线业务，主要存储冷数据，特殊的压缩算法、高压缩比例

后续的发展

• 目前OSS还没有上线，预计2018年6-7月上线，上线后完全弹性计费
• 针对SSD及高效的存储，目前还是采取磁盘的方式挂载，可以扩容及缩容；后续会提供完全弹性的SSD及高性能存储。 也就是本地没有HDFS。