同步 ETL 架构是在一个大的数据集中进行处理，通常使用类 SQL 语言来处理数据的提取、清洗、转换和加载。同步 ETL 架构可以在数据到达目标系统之前对其进行转换，并将数据与目标系统同步，这意味着数据可以在短时间内变得可用和访问，但也很可能会导致一些问题。

一般而言，同步 ETL 架构需要进行以下步骤：

  • 从源系统中提取数据并转换为目标系统的格式。
  • 对目标系统应该接收到的数据进行验证和过滤。
  • 对目标系统进行修改以适应数据的要求。
  • 最后将数据加载到目标系统中。

优点：

  • 数据能够在最短时间内变得可用和访问。
  • 可以定期更新数据，确保数据是最新的。

缺点：

  • 由于数据要在短时间内被处理，所以同步 ETL 架构需要占用大量的计算资源。
  • 如果目标系统的压力过大，则同步 ETL 架构可能会导致性能下降。

异步 ETL 架构

异步 ETL 架构通常比同步 ETL 架构更加灵活，因为它可以将数据存储在中间层中，而不是直接加载到目标系统中。这意味着可以在更少的时间内进行数据处理，并在后续时间段内将数据加载到目标系统中。

一般而言，异步 ETL 架构需要进行以下步骤：

  • 从源系统中提取数据。
  • 对数据进行清洗和转换，以便它可以在中间层中被接受。
  • 将数据存储在中间层中。
  • 在后续时间将数据加载到目标系统中。

优点：

  • 异步 ETL 架构可以在较小的时间间隔内进行处理，通过中间层可以轻松处理更多的数据。
  • 如果目标系统的压力过大，那么异步 ETL 架构可以减轻系统负担，不会影响系统性能。

缺点：

由于没有立即将处理过的数据加载到目标系统中，所以数据的可访问性会有所降低。
在发送数据之前，中间层必须进行数据处理，这可能会占用更多的存储空间。

比较

ELT架构图 etl技术架构图_架构

同步和异步 ETL 架构有各自的优点和缺点，具体应该根据项目实际情况进行选择。下面是同步和异步 ETL 架构的比较：

  • 处理时间：同步 ETL 架构需要占用大量的计算资源，需要较长的时间进行处理，而异步 ETL 架构可以在较小的时间间隔内进行处理。
  • 数据可访问性：同步 ETL 架构能够快速地将数据加载到目标系统中，使其可访问性更快，而异步 ETL 架构需要在推迟后的时间段内处理数据。
  • 系统性能：如果目标系统的压力过大，同步 ETL 架构会降低系统的性能，而异步 ETL 架构能够减轻系统的负担，不会影响系统性能。
  • 存储空间：异步 ETL 架构需要将处理过的数据存储在中间层中，这可能会占用更多的存储空间。 总结

总之，在同步 ETL 架构和异步 ETL
架构之间做出选择时，应该根据项目实际情况来选择最适合的方法。如果数据需要在短时间内进行处理，并且目标系统有足够的资源来处理数据，请使用同步
ETL 架构。如果数据量较大，目标系统的压力较大，并且处理时间较少，建议使用异步 ETL 架构。