一 NameNode
NN 启用 RPC context 特性,在审计日志中打印真实的客户端 IP.
默认情况下,NN 的审计日志记录的所有请求的源 IP 都是 Router,如果要看到真正的 client IP,需要在 NameNode 侧,hdfs-site.xml 中,使能 callerContext,之后在 NN 审计日志中,将在 CallerContext 字段记录此次 RPC 请求的真实 IP:
在 NameNode 侧,hdfs-site.xml 中,做如下配置:
<property>
<name>hadoop.caller.context.enabled</name>
<value>true</value>
</property>
二 客户端
客户端随机选择 router,而不是总选择第一个.
默认情况下,在客户端配置了多个 router 时,客户端总是优先使用第一个 router,如果所有客户端都是这种行为的话,很可能会造成第一个 router 累死,而其它 router 饿死,为了防止这种情况出现,需要让客户端随机选取 router。
在 Client 侧,hdfs-site.xml 中,做如下配置:
<property>
<name>dfs.client.failover.random.order</name>
<value>true</value>
</property>
三 Router
- 配置 ganglia 监控
Router 的监控信息,也需要输出到 ganglia 上
在 Router 侧,hadoop-metrics2.properties 中,增加下面配置:
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GanglisSink31
*.sink.ganglia.period=60
router.sink.ganglia.servers=ganglia机器ip:8649
- 增大 Router RPC server 的 reader count 和 handler count.
默认情况下,router 的 handler count 为10,reader count 为1,这些值都太小,需要加大.
在 Router 侧,hdfs-rbf-site.xml 中,将 RPC handler count 配置为 4096:
<property>
<name>dfs.federation.router.handler.count</name>
<value>4096</value>
</property>
将RPC reader count配置为16:
<property>
<name>dfs.federation.router.reader.count</name>
<value>16</value>
</property>
- 开启各个 Router 之间的 mount table 即时更新功能.
默认情况下,如果一个 router 修改了 mount table,那么其他 router 不能立即更新,需要等待一段时间才能达到同步状态。开启即时更新功能后, 修改了 mount table 的 router 会主动通知其他 router 更新 cache,从而使其他 router 立即达到同步状态.
在 Router 侧,hdfs-rbf-site.xml 中,做如下配置:
<proterty>
<name>dfs.federation.router.mount-table.cache.update</name>
<value>true</value>
</proterty>
- 开启 Router 的超载拒绝服务特性.
默认情况下,如果一个 router 接收到的 RPC 请求太多,则会严重排队。开启该特性后,一个 router 在满载之后,会立即拒绝新的 RPC 请求,之后客户端会继续尝试其他的 router:
在 Router 侧,hdfs-rbf-site.xml 中,做如下配置:
<proterty>
<name>dfs.federation.router.client.reject.overload</name>
<value>true</value>
</proterty>
- 禁用 Router 的 “部分 list/count” 特性.
如果 router 启用了 multi destination 挂载功能,且一个挂载目录的某些 sub cluster 不可用时,可能出现不能完整 list/count 一个目录的情况,此时只能 list/count 到一部分目录内容。这种结果不可接受,需要禁用该特性,此时应直接返回失败。
在 Router 侧,hdfs-rbf-site.xml 中,做如下配置:
<proterty>
<name>dfs.federation.router.client.allow-partial-listing</name>
<value>true</value>
</proterty>
- 禁止 Router 缓存客户端 RPC 请求的路径解析结果.
默认情况下,Router 会缓存客户端 RPC 请求的路径解析结果,最多缓存1W条,但如果客户端的操作路径非常多变(典型情况:集群业务量超大,Router 收到的 RPC 请求路径频繁变化),则这种缓存意义不大,且额外的缓存操作还会增加 Router 时耗,此时应该禁用缓存。
在 Router 侧,hdfs-rbf-site.xml 中,做如下配置:
<proterty>
<name>dfs.federation.router.mount-table.cache.enable</name>
<value>true</value>
</proterty>
- 禁止 Router 自动监听本地 NameNode.
默认情况下,Router 仅自动监听本地 NameNode,实际使用中,我们会手动配置 Router 需要监听的所有 NN.
在 Router 侧,hdfs-rbf-site.xml 中,做如下配置:
<property>
<name>dfs.federation.router.monitor.localnamenode.enable</name>
<value>false</value>
</property>
四 几个问题需要确认
- Router 性能损耗
在 Client 和 NameNode 直接插入 Router 之后,对业务的 RPC 时耗影响大概有多大? - Router MountTable 性能问题
在 Router 的 MountTable Entry 过多时(例如 10W 条),是否会对 Router 性能产生影响? - token 性能问题
各个 Router 的 token 都存在一个 zk 里面,并且使用 zk 的 CallBack 更新机制,以现网目前的 token 量,zk 是否撑得住?