RPC基本原理
RPC(Remote Procedure Call),远程过程调用,大部分的RPC框架都遵循如下三个开发步骤:
1. 定义一个接口说明文件:描述了对象(结构体)、对象成员、接口方法等一系列信息;
2. 通过RPC框架所提供的编译器,将接口说明文件编译成具体的语言文件;
3. 在客户端和服务器端分别引入RPC编译器所生成的文件,即可像调用本地方法一样调用服务端代码;
RPC通信过程如下图所示
通信过程包括以下几个步骤:
1、客户过程以正常方式调用客户桩(client stub,一段代码);
2、客户桩生成一个消息,然后调用本地操作系统;
3、客户端操作系统将消息发送给远程操作系统;
4、远程操作系统将消息交给服务器桩(server stub,一段代码);
5、服务器桩将参数提取出来,然后调用服务器过程;
6、服务器执行要求的操作,操作完成后将结果返回给服务器桩;
7、服务器桩将结果打包成一个消息,然后调用本地操作系统;
8、服务器操作系统将含有结果的消息发送回客户端操作系统;
9、客户端操作系统将消息交给客户桩;
10、客户桩将结果从从消息中提取出来,返回给调用它的客户过程;
所有这些步骤的效果是,将客户过程对客户桩发出的本地调用转换成对服务器过程的本地调用,而客户端和服务器都不会意识到有中间步骤的存在。
这个时候,你可能会想,既然是调用另一台机器的服务,使用 RESTful API 也可以实现啊,为什么要选择 RPC 呢?我们可以从两个方面对比:
资源粒度。RPC 就像本地方法调用,RESTful API 每一次添加接口都可能需要额外地组织开放接口的数据,这相当于在应用视图中再写了一次方法调用,而且它还需要维护开发接口的资源粒度、权限等;
流量消耗。RESTful API 在应用层使用 HTTP 协议,哪怕使用轻型、高效、传输效率高的 JSON 也会消耗较大的流量,而 RPC 传输既可以使用 TCP 也可以使用 UDP,而且协议一般使用二制度编码,大大降低了数据的大小,减少流量消耗。
对接异构第三方服务时,通常使用 HTPP/RESTful 等公有协议,对于内部的服务调用,应用选择性能更高的二进制私有协议。
Thrift架构
thrift主要用于各个服务之间的RPC通信,支持跨语言。thrift是一个典型的CS结构,客户端和服务端可以使用不同的语言开发,thrift通过IDL(Interface Description Language)来关联客户端和服务端。thrift的整体架构图如下图所示
图中Your Code是用户实现的业务逻辑,接下来的FooService.Client和Foo.write()/read()是thrift根据IDL生成的客户端和服务端的代码,对应于RPC中Client stub和Server stub。TProtocol 用来对数据进行序列化与反序列化,具体方法包括二进制,JSON 或者 Apache Thrift 定义的格式。TTransport 提供数据传输功能,使用 Apache Thrift 可以方便地定义一个服务并选择不同的传输协议。
如下图所示为thrift的网络栈结构
thirft使用socket进行数据传输,数据以特定的格式发送,接收方进行解析。我们定义好thrift的IDL文件后,就可以使用thrift的编译器来生成双方语言的接口、model,在生成的model以及接口代码中会有解码编码的代码。
TTransport层
代表thrift的数据传输方式,thrift定义了如下几种常用数据传输方式
TSocket: 阻塞式socket;
TFramedTransport: 以frame为单位进行传输,非阻塞式服务中使用;
TFileTransport: 以文件形式进行传输;
TProtocol层
代表thrift客户端和服务端之间传输数据的协议,通俗来讲就是客户端和服务端之间传输数据的格式(例如json等),thrift定义了如下几种常见的格式
TBinaryProtocol: 二进制格式;
TCompactProtocol: 压缩格式;
TJSONProtocol: JSON格式;
TSimpleJSONProtocol: 提供只写的JSON协议;
Thrift支持的Server模型
TSimpleServer: 简单的单线程服务模型,常用于测试;
TThreadPoolServer: 多线程服务模型,使用标准的阻塞式IO;
TNonBlockingServer: 多线程服务模型,使用非阻塞式IO(需要使用TFramedTransport数据传输方式);
THsHaServer: THsHa引入了线程池去处理,其模型读写任务放到线程池去处理,Half-sync/Half-async处理模式,Half-async是在处理IO事件上(accept/read/write io),Half-sync用于handler对rpc的同步处理;
Thrift IDL文件
thrift IDL不支持无符号的数据类型,因为很多编程语言中不存在无符号类型,thrift支持一下几种基本的数据类型
byte: 有符号字节
i16: 16位有符号整数
i32: 32位有符号整数
i64: 63位有符号整数
double: 64位浮点数
string: 字符串
此外thrift还支持以下容器类型:
list: 一系列由T类型的数据组成的有序列表,元素可以重复;
set: 一系列由T类型的数据组成的无序集合,元素不可重复;
map: 一个字典结构,Key为K类型,Value为V类型,相当于java中的HashMap;