Datadog 监控 datax 监控

转载

mob6454cc7ccdfc 2024-03-18 08:05:31

文章标签 Datadog 监控 java 数据源等待时间初始化 文章分类 运维

背景

DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

datax测量组件比较弱，datax Communication组件负责测量采集和计算，但相比专业的时序数据库，如，Prometheus，功能和性能相差甚远，因此需要集成如Prometheus这样的平台，加强监控能力

参考和术语

metrics-exporter设计 url

测量(metrics) 透视系统内部状态，通常以数字展现，也可以文字，如，系统开和关

datax原理介绍

Datadog 监控 datax 监控_Datadog 监控

*官方图，Transport处是Channel，本人觉得不太准确，应为Transport

> 作业分解为任务，任务分组，最后调度器调度任务(组)

*作业分片和任务分组没有在高可用中

> 调度器负责分派资源执行任务(组)，TaskEecutor执行任务

> transport包括数据交换(exchanger)，数据转换(transformer)，交换数据字节数/记录数的统计(channel)

测量组件介绍

测量组件是可观测平台的一部分，由metrics，exporter，reporter 3部分组成

metrics负责测量收集/计算，业界metrics组件选择比较少，主要有dropwizard-metrics，micrometer也是源于dropwizard-metrics，还有些框架自带metrics组件，基本上也是参考dropwizard-metrics
exporter/reporter，两者是配套，exporter 转换本地测量类型为目标监控平台类型；reporter 推送转换后的测量到监控平台，本组件实现Prometheus测量转换和报告

Datadog 监控 datax 监控_数据源_02

Counter/Gauge/Meter/Summary/Histogram dropwizard-metrics支持的测量类型，其中后3者属于统计量；另外，Prometheus Counter/Gauge都是数值，Gauge可加可减，Counter单调增加

ScheduledReporter/DefaultScheduledReporter ScheduledReporter是dropwizard-metric提供的Reporter实现，定时报告测量，抽象模板模式，DefaultScheduledReporter本组件的ScheduledReporter实现，使用DropWizardPrometheusExporter转换测量为Prometheus对应类型，继而使用simple-pushgateway推送到Prometheus

TagExtractor tag是Prometheus测量的属性，定义数据维度，对后续的统计非常重要；TagExtractor是本组件接口，应用实现自己的tag生成逻辑

MetricHolder 本组件开发的类，负责全局构建，操作，持有测量

metrics组件详细设计说明可参看：微服务可观测平台(三)-测量组件设计与实现