deequ 是aws 开源的基于spark 的数据质量框架（数据单元测试），同时也提供了python 包

deequ 提供的能力

  • metrics 计算
  • 约束建议
  • 约束校验
  • metrics repo

参考架构图

deequ aws 开源的数据质量框架_python

说明

对于希望实现数据质量的团队deequ的设计还是很值得学习参考的，只是目前是基于spark的，对于一些团队可能不是很方便（可能暂时用不上spark），对于基于现代数据栈模式的，基于dbt 也是一个不错的选择（推荐模型创建也基于dbt），后边仔细研究下deequ

参考资料

https://github.com/awslabs/deequhttps://github.com/awslabs/python-deequ

http://www.vldb.org/pvldb/vol11/p1781-schelter.pdf

https://pydeequ.readthedocs.io/en/latest/README.html

https://www.metaplane.dev/state-of-data-quality-monitoring-2024