来自社区交流,供同行参考

搭建Ceph集群,硬件投入如何规划性价比高?_JAVA

Ceph 分布式存储硬件规划,运维的考虑?


对于一个考虑搭建ceph集群的企业,很多时候大多只是有个概念,那么我们具体到具体的硬件投入,规划,拓扑方面,又有哪些参考的意见?

1.机型的选择,2U还是4U 

2.CPU的选择,10core以上还是一下,主频2.2还是多少

3.内存的选择,64G还是128或者256

4.硬盘10k,15k,是sas还是sata,还是ssd,容量2T还是8T,还是混合解决方案

5.网络万兆交换机还是infiband等

6.节点的投入和位置的摆放

7.副本的选择和硬件是否配合raid及热备的配置

等等以上问题,看似很泛泛,其实最终围绕着一个主题,在行业经验基础之上,争取做到:少投入,多产出,重稳定,易维护,性价比高。哪些同学再实际使用过程当中有具体的经验欢迎分享。

问题来自社区会员 @董志卫 李宁(中国)


@zhuqibs Mcd 软件开发工程师:

机型:2U还是4U并不重要,主要是磁盘容器和接口是不是够;

A、cpu:

(1)mds服务器应该有足够的处理能力(如 4 核或更强悍的 CPU),所以,尽可能的多一点。

(2)OSD 运行着 RADOS 服务、用 CRUSH 计算数据存放位置、复制数据、维护它自己的集群运行图副本,因此 OSD 需要一定的处理能力。

B、内存:越大越好

(1) mds、monitor服务器必须可以尽快地提供它们的数据,所以他们应该有足够的内存,至少每进程 1GB;

(2)OSD 的日常运行不需要那么多内存(如每进程 500MB )差不多了;然而在恢复期间它们占用内存比较大(如每进程每 TB 数据需要约 1GB 内存)。通常内存越多越好;

C、硬盘:最好ssd,不看大小,看性能

(1)HDD:  分别在单独的硬盘运行操作系统、 OSD 数据和 OSD 日志,全部分开;

(2)SSD:   读密集的应用选用廉价的ssd,写密集的需要选用贵的ssd;顺序读写能力很重要,需要做为重要采购指标,因为OSD的日志都是顺序写的;SSD使用分区需要分区对齐;

D、网络交换机:带宽越大越好,当然是infinband,但也要有钱啊

(1)每台服务器2张网卡,最好万兆;

(2)核心交换机:40Gps~100Gps

节点:6台mds,6台monitor,7台osd

副本:  不要太多,2~3个可以了 


@花花世界  系统架构师:

1、根据 Ceph 应用场景配置选用不同处理器,比方说全闪存场景(所有数据盘都使用 SSD 的场景)就需要更高性能的处理器

2、内存:官方文档建议每个 OSD 进程配置 2GB 内存

3、网卡:根据实际需要选择即可,建议每台服务器配置 2 个 10GE 以上的网口

4、HDD:使用 HDD 作为数据盘,SSD 作为 db/wal 分区起加速作用,如果服务器 配置有 RAID 卡,建议将数据盘设置为直通模式(JBOD)

4、SSD:建议选用 NVMe SSD 加速效果更佳