时序数据库数据同步到hadoop

转载

恋上一只猪 2024-07-30 21:00:34

文章标签 时序数据库数据同步到hadoop 数据时序数据库 Time 文章分类 Hadoop 大数据

2 月 21 日，开源、高性能、云原生的时序数据平台 TDengine 正式发布 TDengine 3.0 性能对比分析报告，该报告从数据写入、压缩和查询等维度，对比了 TDengine 与市场其他流行的时序数据库（Time Series Database，TSDB）产品的性能差异。报告旨在验证 TDengine 基于时序数据场景所设计的独特架构带来的性能优势以及成本控制水平，其中所有测试均在标准化条件下使用公开数据完成。

TDengine 选择的性能基准测试平台是 Time Series Benchmark Suite (TSBS)。TSBS 是由 Timescale 打造并开源，集多种应用场景下时序数据生成、数据写入、查询处理、自动化结果汇总统计等功能于一体的时序数据库性能基准测评平台。由于其开源的特性，自 2018 年以来，该平台已被全球多家领先的时序数据库厂商使用，成为时序数据库性能测试上使用最为广泛的平台。TDengine 新发布的性能测试报告采用 TSBS 平台中针对 DevOps 的场景作为基础数据集，在相同的 AWS 云环境下运行了 TDengine 3.0、TimescaleDB 2.6 和 InfluxDB 1.8，从五大维度进行对比测试并输出结果。

“降本增效一直是企业可持续发展的重要目标，而随着业务中时序数据量级的持续大幅增长，所选数据库的性能高低会直接影响到系统的响应时间和运营成本。”TDengine 创始人与核心开发陶建辉表示，“随着 TDengine 3.0 TSBS 性能测试报告的发布，我们比以往任何时候都更有信心，无论数据规模如何提升、企业处在哪个发展阶段，TDengine 都能以最低成本为其提供所需性能。”

该测试报告的要点包括：

数据写入对比：在全部的五个场景中，TDengine 写入性能均优于 TimescaleDB 和 InfluxDB。写入性能最大达到 TimescaleDB 的 6.7 倍，InfluxDB 的 10.6 倍。此外，TDengine 在写入过程中消耗了最少计算（CPU）资源和磁盘 IO 开销。
数据查询对比：对于大多数查询类型，TDengine 的性能均优于 InfluxDB 和 TimescaleDB，在 Complex queries 类型的查询中展现出巨大的优势——TDengine 的 Complex queries 查询性能最高达到了 InfluxDB 的 37 倍、 TimescaleDB 的 28.6 倍。
数据存储对比：由于高效的数据存储和压缩机制，部分场景中，存储相同规模的数据，TDengine 占用的磁盘空间远低于 InfluxDB 和 TimescaleDB。报告显示，随着数据集规模的增长，TDengine 在数据存储方面的优势愈加明显，这也直接说明 TDengine 更加适用于时序大数据的存储。相同数据规模下，TimescaleDB 落盘数据规模最高达到了 TDengine 的 26.9 倍，InfluxDB 磁盘占用最高是 TDengine 的 4.5 倍。
资源消耗对比：从整体 CPU 开销上来看，TDengine 不仅完成全部查询的时间低于 TimescaleDB 和 InfluxDB，在整体上CPU计算资源的消耗也远小于 TimescaleDB 和 InfluxDB。在整个查询过程中，TDengine 内存也始终维持在一个相对平稳的状态。

有关测试报告执行结果和重现步骤的详细信息，请参阅完整报告：https://www.taosdata.com/performance-comparison-influxdb-and-timescaledb-vs-tdengine。

关于 TDengine

TDengine 是由涛思数据完全自主开发的一款开源、高性能、云原生的时序数据库，专注时序空间大数据的存储、查询、分析和计算，全球运行的 TDengine 用户实例数超过 200k，平均每天新增数百个新部署，用户遍布全球 50 多个国家/地区，已被广泛运用于物联网、车联网、工业互联网、IT 运维等领域。2019年7月，TDengine 在 GitHub 开源，目前其 GitHub 的 Star 数达到了 20.8k，且多次登顶 GitHub 全球趋势排行榜。

2022年 8 月，TDengine 推出 3.0 版本，真正成为了一款云原生时序数据库，支持 10 亿个设备采集数据、100 个节点，支持存储与计算分离，解决了困扰时序数据库发展的高基数难题；还将存储引擎、查询引擎都进行了优化升级，并打造了全新的流式计算引擎，无需再集成 Kafka、Redis、Spark、Flink 等软件，性能提升的同时系统架构复杂度也实现了大幅降低。同年 9 月，TDengine Cloud 上线海外市场并同步支持 Microsoft Azure、AWS、Google Cloud 三大公有云平台，TDengine PI 连接器也在不久后成功上线，基于此，企业既能保留传统的 PI 系统，又能轻松获得现代云平台提供的所有好处。点击进入www.taosdata.com了解更多信息。