软件扩展能力是软件架构设计中的一个关键要素,具有良好扩展能力的软件能够充分利用新增的硬件资源。当软件性能与硬件增加保持同步比例增长时,我们称这种现象为软件具有线性扩展能力。要实现这种线性扩展并不简单,它要求软件架构精心设计,能够最大化硬件性能的利用,同时减少内部资源消耗。
为了验证 TDengine 是否具备线性扩展能力,我们可以采取以下测试方法:首先识别出可能成为性能瓶颈的硬件资源,然后逐步增加这类资源,观察软件性能的变化。典型的测试焦点包括 CPU 和磁盘,因为这两者是计算机资源中最常见的扩展点。下面我们将从这两方面来进行测试验证。
01
TDengine CPU 线性扩展能力
测试目的
验证在带宽、IO 及内存不是瓶颈,仅 CPU 是瓶颈的情况下,写入速度应与 CPU 核数成正比。
测试方法
测试系统 :使用 TDengine 官网发布的 docker 镜像,TDengine 版本为 V3.3.0.0
测试工具 :taosBenchmark
表结构 :TDengine 官网智能电表结构
增加 CPU 核数方法 :docker 绑定固定数量 CPU 技术
两阶段配置方法 :
1 ~ 4 核 VGROUP 为 4 ,写入线程数为 4
5 ~ 12 核 VGROUP 为 12 ,写入线程数为 12
使用两阶段配置,让 CPU 始终保持在瓶颈状态
测试参数
数据库 :1 个
超级表 :1 个
子表数 :100 个
每子表行数 :100W
总数据量 :1 亿
测试结果

磁盘为 SSD,写入最高可达 :350M/秒,IO 充足
带宽:客户端服务器同一台机器,带宽可认为无限制

数据解读
- 在 4 核时 CPU 使用率降至 88%,若再增加 CPU 可能 CPU 不会再成为瓶颈,所以升级配置至 12 个 VGROUPS、12 写入线程,让 CPU 始终保持在瓶颈状态下
- 每增加一个 CPU,写入性能线性提升约 50W 左右,符合线程增长预期
- 磁盘 IO 基本与写入速度增长保持一致
测试结论: 与预期一致
02
TDengine IO 线性扩展能力
测试目的
验证在CPU、带宽及内存不是瓶颈,仅 IO 是瓶颈情况下,写入速度应与增加的磁盘个数成正比。
测试方法
测试系统:Linux Ubuntu 20.4 操作系统
硬件配置:CPU 24 核, 64 GB 内存,挂三块普通 5400 转低速机械盘(选择性能普通的硬盘,有利于很快打满 IO,达到 IO 成为瓶颈的条件 )
TDengine:版本 V3.3.0.0
测试工具:taosBenchmark
表结构:

(每行长度 32618 字节,使用大宽行,更易打满IO )
增加磁盘方法:使用同级挂载多块磁盘技术
测试参数
数据库:1 个 VGROUP 16
超级表:1 个
子表数:100 个
每子表行数:1W
总数据量:100W
taosBenchmark :
写入线程数 = 16 个
写入方式 = stmt vgroup 绑定线程快速写入方法
测试结果

- CPU: 24 核 CPU ,大部分都为空闲,CPU 充足
- 带宽:客户端服务器同一台机器,带宽可认为无限制
- Commit 线程数是数据落盘的线程数,负责直接写磁盘
- 磁盘挂载到 3 块后,需求加大 Commit 线程数,才能打满 IO

数据解读
从数据上可看出,每增加一块磁盘,写入性能也会成比例增长,新增磁盘 IO 被充分使用。
测试结论: 与预期一致
03
写在最后
通过对 TDengine 服务器的 CPU 和磁盘资源进行扩展实验,我们验证了其对硬件资源的利用能力。实验结果表明,TDengine 展现出了显著的线性扩展能力,这证明了其具备优秀的架构设计和先进的设计理念。TDengine 能够有效地利用增加的硬件资源,这不仅提升了性能,也优化了资源的整体使用效率。这种能力是 TDengine 高效处理大规模数据需求的关键因素。
















