RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC采用客户机/服务器模式,其框架图如图2-1所示。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。

hadoop的rpc通信机制有哪些 hadoop rpc框架_客户端

一个典型的RPC框架包括以下几个部分:

1、 通信模块:两个相互协作的通信模块实现请求-应答协议。他们在客户机和服务器之间传递请求和应答消息,一般不会对数据报进行任何处理。

要通过RPC服务进行通信,服务的提供方必须实现某个接口,以下分别列出了与HDFS和MapReduce相关的接口,这些接口均继承自VersionedProtocol接口。

与HDFS相关的协议:

内部类

功能

ClientDatanodeProtocol

client和datanode间的协议接口,用于数据块恢复

ClientProtocol

client与Namenode交互的接口,所有控制流的请求均在这里,如:创建文件、删除文件等

DatanodeProtocol

Datanode与Namenode交互的接口,如心跳、块报告等

NamenodeProtocol

SecondaryNode与Namenode交互的接口

这四者在HDFS的结构图上的位置如图3-2所示:

hadoop的rpc通信机制有哪些 hadoop rpc框架_客户端_02

图表 3-2

与MapReduce相关的协议:

内部类

功能

InterDatanodeProtocol

Datanode内部交互的接口,用来更新block的元数据

InnerTrackerProtocol

TaskTracker与JobTracker交互的接口,功能与DatanodeProtocol相似

JobSubmissionProtocol

JobClient与JobTracker交互的接口,用来提交Job、获得Job等与Job相关的操作

TaskUmbilicalProtocol

Task中子进程与母进程交互的接口,子进程即map、reduce等操作,母进程即TaskTracker,该接口可回报子进程的运行状态。

图表 3-3

这四者在MapReduce的结构图上的位置如图3-4所示:

hadoop的rpc通信机制有哪些 hadoop rpc框架_RPC_03


图表 3-4

2、 Stub模块:客户端和服务端都包含Stub程序,可将之看作代理程序。它使得远程调用表现的跟本地调用一样,对客户程序完成透明。

3、 调度程序:调度程序接受来自通信模块的请求信息,并根据其中的标识选择一个Stub程序处理。通常当客户端并发请求量较大时,会采用线程池提高处理效率。

4、客户程序/服务过程:请求的发出者和处理者。在分布式环境下,需要考虑网络通信,这不得不增加通信模块和Stub程序以保证函数调用的透明性。


一个Hadoop RPC使用方法可以分为以下几个步骤。

步骤一 定义RPC协议。RPC协议是客户端和服务器端之间的通信接口,它定义了服务器对外提供的服务接口。

步骤二 实现RPC协议。 Hadoop RPC通常是一个Java接口,用户需要实现该接口。

步骤三 构造并启动RPC Server。直接使用静态方法getServer()构造一个RPC Server,并调用start()方法启动该Server。

步骤四 构造RPC Client,并发送RPC请求。使用静态方法getProxy()构造客户端代理对象,直接通过代理对象调用远程端的方法。