数据集成的两种架构:ELT和ETL

 

集成是数据工程师要做的工作之一。一般来说,数据工程师的工作包括了数据的ETL和数据挖掘算法的实现。算法实现 可以理解,就是通过数据挖掘算法,从数据仓库中找到“金子 什么是ETL呢? ETL是英文Extract. Transform和Load的缩写,顾名思义它包括了数据抽取、转换、加载三个过程。ETL可 以说是进行数据挖掘这项工作前的"备菜"过程。

我来解释一下数据抽取、转换、加载这三个过程。

ETL的过程为提取(Extract)——转换(Transform)——加载(Load),在数据源抽取后首先进行转换,然后将转换的结果写入 目的地。

ELT的过程则是提取(Extract)—加载(Load)——变换(Transform),在抽取后将结果先写入目的地,然后利用数据库的聚 合分析能力或者外部计算框架,如Spark来完成转换的步骤

目前数据集成的主流架构是ETL ,但未来使用ELT作为数据集成架构的将越来越多。这样做会带来多种好处:

ELT和ETL相比,最大的区别是"重抽取和加载,轻转换",从而可以用更轻量的方案搭建起一个数据集成平台。使用ELT 方法,在提取完成之后,数据加载会立即开始。一方面更省时,另一方面ELT允许BI分析人员无限制地访问整个原始数 据,为分析师提供了更大的灵活性,使之能更好地支持业务。