1. HDFS读数据流程 1、与NameNode通信查询元数据，找到文件块所在的DataNode服务器 2、挑选一台DataNode（网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode）服务器，请求建立socket流 3、DataNode开始发送数据(从磁盘里面读取数据放入流，以pac
NameNode职责 响应客户端请求 维护目录树 管理元数据(查询，修改) HDFS元数据存储 checkpoint操作的触发条件配置参数： 元数据的checkpoint
Shuffle是map和reduce中间的数据调度过程，包括：缓存、分区、排序等。 Shuffle数据调度过程： Shuffle数据调度过程（大图链接）：
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
