soda 数据质量测试工具,可以方便的集成到ci/cd 中,同时支持的数据库也不少,soda 同时还提供了一个强大的metrcis 检查语言
基于yaml 配置文件就可以实现强大的数据质量检测(也支持输出数据格式为json,方便分析)
说明
soda 同时也提供了data contract 的支持,对于dbt 也是支持的,soda 包含了core 以及library,cloud,core 部分是开源的同时可以不依赖cloud
对于直接使用library 的需要cloud api key (目前有45天的免费体验),对于内部系统的多ci/cd 我们使用core 基本就够用了
参考资料
https://github.com/sodadata/soda-corehttps://docs.soda.io/soda/data-contracts.html
https://docs.soda.io/soda-cl/metrics-and-checks.html
https://docs.soda.io/soda/quick-start-sodacl.html#tips-and-best-practices-for-sodacl