如下左图所示,而采用Tez之后则将DAG的依赖关系去除,Tez将有依赖关系的作业转换为一个作业,如下右图所示。/span
发一下牢骚和主题无关:
名称解释:
DAG:Directed Acyclic Graph 无环有向图
Tez将Map task和Reduce task进一步拆分,
Tez的task由Input、processor、output阶段成组,可以抒发有所杂复的map、reduce操纵。
这样,这些分解后的元操纵可以恣意活灵合组,发生新的操纵单元Task.
举个例子:
在传统的MR如下左图所示,而用采Tez以后则将DAG的赖依关系去除,Tez将有赖依关系的业作转换为一个业作,如下右图所示。
Pig/Hive -MR Pig/Hive -Tez
•tez-api:六个可编程组件
•tez-common •tez-engine •tez-mapreducetez-task-library: Tez为兼容MR供给的组件 •tez-yarn-application •tez-yarn-client