ETL任务调度是ETL的灵魂！！！

简而强乃工具之精髓

ETL是BI的基础，而调度是ETL的灵魂，可见调度的重要性！

  • ETL任务-用于定义数据的抽取，转换及装载规则。
  • ETL任务调度-（简称ETL调度）用于控制ETL任务的启动运行（启动时间、运行周期及触发条件），实现数据的传输转换操作。 
  • 定时调度 和 工作流调度

       （一）、定时调度用于控制ETL任务按照某一时间属性周期运行，如：在每个工作日的19点启动交易数据采集任务 或 每月1号启动报表数据汇总任务。定时调度难以处理多个相关ETL任务间的依赖关系，也无法有效处理ETL异常。对于某些不具备定时调度功能的ETL软件可以采用操作系统提供的定时功能，如Linux的cron调度、Windows的任务计划程序。 

      （二）、工作流调度采用模块化方法对ETL过程各个环节进行协同管理，将ETL整个过程分解为多个数据处理子任务，子任务间采用顺序、并行或互斥等时序关系进行调度控制，当ETL过程需要变更时，仅需重新配置相关子任务或子任务间时序关系，无需对整个过程进行调整，简化了ETL过程管理，

        工作流调度包含以下基本功能：

  1. 支持顺序、并发、互斥等工作模式 
  2. 支持周期性定时触发任务 
  3. 支持任务异常处理 
  4. 支持任意程序调用执行
  5. 支持任务间传递信息 

北京灵蜂 ETL工具( Beeload & BeeDI )内置定时调度与工作流调度功能，提供简单直观的图形操作界面，满足各种不同规模的数据集成场景，软件除具备上述工作流调度基本功能外，依据ETL数据集成特点进行如下功能扩展：

  • 支持ETL任务的一站式图形化配置管理
  • 内置HTTP、FTP文件传输功能
  • 内置SMTP邮件通知功能
  • 支持任意外部程序调用时的超时处理
  • 支持自定义脚本任务，无限扩展流程功能
  • 支持集群环境的子任务负载均衡、单点故障迁移 
  • 提供运行轨迹指示，实时反馈子任务运行状态

ETL工具  Beeload   工作流调度

 

 

 

etl调度工具 mysql etl作业调度_定时调度

 

 

 

 

 

ETL工具  BeeDI  工作流调度

etl调度工具 mysql etl作业调度_etl调度工具 mysql_02

 

 

 

 

 

ETL工具Beeload&BeeDI 调度

 

etl调度工具 mysql etl作业调度_etl调度工具 mysql_03

 

 ETL工具    Beeload&BeeDI  任务调度 

etl调度工具 mysql etl作业调度_子任务_04