参考：《Apache Kafaka 实战》

前言

主要包括以下几个方面

  • 磁盘类型
  • 磁盘容量
  • CPU
  • 内存
  • 带宽
  • 其他配置优化

1. 磁盘类型

1.1 机械硬盘 与 固态硬盘 选择？

机械硬盘，性价比高，完全可以满足集群的使用

固态硬盘，有钱就上

1.2 一堆普通磁盘（JBOD） 与 磁盘整列（RAID) 选择？

JBOD，性价比高，使用没有问题

RAID，有钱就上，提供冗余的数据存储空间，天然负载均衡

2. 磁盘容量规划

Kafka的每条消息都保存在实际的物理磁盘中，消息默认会被broker保存一段时间之后清除。

计算关键因素：每天消息数量，平均消息大小，消息留存时间，副本数，是否启用压缩，预留磁盘空间

2.1 场景计算
  • （1） 每天1亿条信息 x 保存2份 x 平均一条消息大小1KB / 1000 / 1000 = 200GB 磁盘空间
  • （2） 预留空间，其他数据文件存储约10%的磁盘空间，200GB + 20GB = 220GB
  • （3） 保存一周的时间，220GB x 7 ~= 1.5TB
  • （4） 开启压缩，平均压缩比假设0.5，1.5TB x 0.5 = 0.75TB

3. 内存规划

除了消息会存在磁盘来说，同时消息还会有缓存，具体就是操作系统的页缓存(page cache)

3.1 结论
  • （1） 尽量分配跟多的内存给操作系统的page cache
  • （2） 不要为broker设置过大的堆内存，最好不要超过6G
  • （3） page chache大小至少要大于一个日志段的大小

4. CPU

Kafka 不是计算密集型的系统，追求多核而非高时钟频率。

但是如果client端启用了消息压缩，除了必要的CPU资源外，broker端也有可能需要大量的CPU资源。但是Kafka 0.10.0.0改进了broker端的消息处理，需要注意消息版本号匹配即可。

4.1 结论
  • （1） 多核系统，CPU核数最好大于8
  • （2） clients端核broker端消息版本一致，且版本高于0.10.0.0。否则需要多配置一些资源

5. 带宽规划

Kafka是在网络间传输大量数据的分布式数据管道，带宽资源很重要，并且容易成为瓶颈

5.1 场景计算

假设用户网络环境中的带宽是1Gb/s，用户的业务目标是每天1小时处理1TB的业务消息，那么需要多少台机器呢？

  • 1GB x 分配70%宽带资源 ~= 710Mb/s (kafka单台broker的带宽)
  • 710MB/s x 使用1/3的资源防止突发情况 ~= 240Mb/s (这个1/3，可以提高一点）
  • 1TB 1h = 292MB 1s = 2336Mb / 240Mb ~= 10台 x 2个副本 = 20 台
5.2 结论
  • （1） 尽量使用高速网络
  • （2） 根据网络条件和业务情况评估集群数量
  • （3） 避免使用跨机房网络

6. 其他优化配置

  • 使用最新版本的Kafka，且支持Kafka Stream
  • 推荐为每个broker配置多个日志路径，每个路径都独立挂载在不同的磁盘上，极大加速Kafka消息产生的速度