术语解释

wKioL1YVOS2RFXqZAAYxfnqkPtI595.jpg


Executor  多线程的方式运行


wKioL1YVmEignP_YAALtIQJNXMo990.jpg


每个partirion会被分配一个task


wKioL1YVm77QPCgVAAMcMwO8Rgs285.jpg


taskset就是stage,一个stage由多个task组成



wKioL1YZyV3hrLeDAAOBd63aRKM771.jpg



wKioL1YZzNnwFVzpAAJ6hr9BquA828.jpg


广播变量类似于hadoop的DistributedCache

wKiom1YZ0gSgGdTUAAMECuMW0lA337.jpg



wKiom1YZ05WBkVXrAAJg-Kckg0U816.jpg