1.RDD分区原则:
让RDD的分区数尽量和集群的CPU的核数保持一直,这样可以充分利用CPU的计算资源。开发中为了更加充分的压榨CPU的计算资源,会把平行度设置为cpu核数的2~3倍
2.分区数还和哪些因数有关?
脚本参数/API参数/文件本身分块数....
chenyanlong ©著作权
让RDD的分区数尽量和集群的CPU的核数保持一直,这样可以充分利用CPU的计算资源。开发中为了更加充分的压榨CPU的计算资源,会把平行度设置为cpu核数的2~3倍
脚本参数/API参数/文件本身分块数....
RDD的Shuffle和分区分区的作用:1. RDD 经常需要通过读取外部数据来创建,外部数据存储系
举报文章
请选择举报类型
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG,图片不超过1.9M