一、RPC简介
RPC,全称Remote Procedure Call, 即远程过程调用,它是一个计算机通信协议。它允许像本地服务一样调用远程服务。它可以有不同的实现方式。如RMI(远程方法调用)、Hessian,Http invoker等。另外,RPC是与语言无关的。
RPC示意图:
如上图所示,假设Computer1在调用sayHi() 方法,对于Computer1而言,调用sayHi()方法就像调用本地方法一样。调用->返回。但从后续调用可以看出Computer1调用的是Computer2中的sayHi() 方法,RPC屏蔽了底层实现的细节,让调用者无需关注网络通信,数据传输等细节。
二、RPC框架的实现
上面介绍了RPC的核心原理: RPC能够让本地应用简单、高效地调用服务器总的过程(服务)。它主要应用在分布式系统。如Hadoop中的IPC组件。但怎样实现一个RPC框架呢?
1、通信模型
假设通信的A机器和B机器,A和B之间有通信模型,在Java中一般基于BIO和NIO
2、过程(服务)定位: 使用给定的通信方式,与确定IP与端口及方法名称确定具体的过程或方法。
3、远程代理对象: 本地调用的方法(服务)其实是远程方法的本地代理,因此可能需要一个远程代理对象。对Java而言,远程代理对象可以使用Java的动态对象实现,封装了调用远程方法调用。
4、序列化: 将对象名称,方法名称,参数等对象信息进行网络传输需要转换成二进制传输,这里可能需要不同的序列化技术方案。如: protobuf,Arvo等。
三、Java实现RPC框架
1、实现技术方案
下面使用比较原始的方案实现RPC框架,采用Socket通信,动态代理与反射,Java原生序列化。
2、RPC框架架构
RPC架构分为三部分
1) 服务提供者,运行在服务端,提供服务接口定义与服务实现类。
2)服务中心,运行在服务端,负责将本地服务发布到远程服务; 管理远程服务,提供给服务消费者使用。
3) 服务消费者,运行在客户端,通过远程代理对象调用远程服务。
3、具体实现
工程结构
1) 创建服务提供者
服务提供接口
public interface IHelloService { String sayHi(String name); }
服务提供接口实现
public class HelloServiceImpl implements IHelloService{ @Override public String sayHi(String name) { return "Hi, " + name; } }
2)服务中心
服务中心接口
public interface IServer { public void stop(); public void start() throws IOException; public void register(Class serviceInterface, Class impl); public boolean isRunning(); public int getPort(); }
服务中心接口实现
public class ServiceCenter implements IServer { private static int availableProcessors = Runtime.getRuntime().availableProcessors(); private static ExecutorService executor = Executors.newFixedThreadPool(availableProcessors); private static final HashMap<String, Class> serviceRegister = new HashMap<>(); static { CommonUtil.print("availableProcessors:" + availableProcessors); } private static boolean isRunning = false; private static int port; public ServiceCenter(int p){ port = p; } @Override public void stop() { isRunning = false; executor.shutdown();; } @Override public void start() throws IOException { ServerSocket server = new ServerSocket(); server.bind(new InetSocketAddress(port)); CommonUtil.print("start server, port:" + port); try{ while (true){ // 1.监听客户端的TCP连接,接到TCP连接后将其封装成task,由线程池执行 Socket client = server.accept(); CommonUtil.print("accept socket client"); executor.execute(new ServiceTask(client)); } }finally { server.close(); } } @Override public void register(Class serviceInterface, Class impl) { serviceRegister.put(serviceInterface.getName(), impl); } @Override public boolean isRunning() { return isRunning; } @Override public int getPort() { return port; } private static class ServiceTask implements Runnable{ Socket client = null; public ServiceTask(Socket socket){ this.client = socket; } @Override public void run() { ObjectInputStream input = null; ObjectOutputStream output = null; try { // 2.将客户端发送的码流反序列化成对象,反射调用服务实现者,获取执行结果 input = new ObjectInputStream(client.getInputStream()); String serviceName = input.readUTF(); String methodName = input.readUTF(); CommonUtil.print("serviceName:" + serviceName + "methodName:" + methodName); Class<?>[] parameterTypes = (Class<?>[]) input.readObject(); Object[] arguments = (Object[]) input.readObject(); Class serviceClass = serviceRegister.get(serviceName); if (serviceClass == null) { throw new ClassNotFoundException(serviceName + " not found"); } Method method = serviceClass.getMethod(methodName, parameterTypes); Object result = method.invoke(serviceClass.newInstance(), arguments); // 3.将执行结果反序列化,通过socket发送给客户端 output = new ObjectOutputStream(client.getOutputStream()); output.writeObject(result); } catch (Exception e) { e.printStackTrace(); } finally { if (output != null) { try { output.close(); } catch (IOException e) { e.printStackTrace(); } } if (input != null) { try { input.close(); } catch (IOException e) { e.printStackTrace(); } } if (client != null) { try { client.close(); } catch (IOException e) { e.printStackTrace(); } } } } } }
3) 消费者
消费者获取远程方法
public class RPCClient<T> { public static <T> T getRemoteProxyObj(final Class<?> serviceInterface, final InetSocketAddress addr){ //1\将本地的接口调用转换成JDK的动态代理,在动态代理中实现接口的远程调用 return (T) Proxy.newProxyInstance(serviceInterface.getClassLoader(), new Class<?>[]{serviceInterface}, new InvocationHandler() { @Override public Object invoke(Object proxy, Method method, Object[] args) throws Throwable { Socket socket = null; ObjectOutputStream output = null; ObjectInputStream input = null; try{ //2、创建socket客户端,根据指定地址连接远程服务提供者 socket = new Socket(); socket.connect(addr); //3.将远程服务调用所需要的类接口,方法名、参数列表等编码后发送给服务提供者 output = new ObjectOutputStream(socket.getOutputStream()); CommonUtil.print("serviceInterface.getName:" + serviceInterface.getName() + " method.getName():" + method.getName()); output.writeUTF(serviceInterface.getName()); output.writeUTF(method.getName()); output.writeObject(method.getParameterTypes()); output.writeObject(args); //4、同步阻塞等待服务器返回应答,获取应答后返回 input = new ObjectInputStream(socket.getInputStream()); return input.readObject(); }finally { if (socket != null) socket.close(); if (output != null) output.close(); if (input != null) input.close(); } } }); } }
4)测试
服务提供者先进行注册
public class ServiceRegister { public static void main(String[] args) { new Thread(new Runnable() { @Override public void run() { try { CommonUtil.print("服务注册"); IServer serviceServer = new ServiceCenter(8088); serviceServer.register(IHelloService.class, HelloServiceImpl.class); serviceServer.start(); } catch (IOException e) { e.printStackTrace(); } ; } }).start(); } }
消费者进行调用
public class ServiceConsumer { public static void main(String[] args) { InetSocketAddress inetSocketAddress = new InetSocketAddress("localhost",8088); IHelloService service = RPCClient.getRemoteProxyObj(IHelloService.class, inetSocketAddress); CommonUtil.print(service.sayHi("Nick")); } }
5)输出结果
四、总结
RPC本质为消息处理模型,RPC屏蔽了底层不同主机间的通信细节,让进程调用远程的服务就像是本地的服务一样。
五、可以改进的地方
这里实现的简单RPC框架是使用Java语言开发,与Java语言高度耦合,并且通信方式采用的Socket是基于BIO实现的,IO效率不高,还有Java原生的序列化机制占内存太多,运行效率也不高。可以考虑从下面几种方法改进。
可以采用基于JSON数据传输的RPC框架;
可以使用NIO或直接使用Netty替代BIO实现;
使用开源的序列化机制,如Hadoop Avro与Google protobuf等;
服务注册可以使用Zookeeper进行管理,能够让应用更加稳定。
六、流行的RPC框架
1、dubbo/dubbox
dubbo架构模型
2、Monta(新浪微博开源)
3、Thrift(夸语言的RPC框架,无服务治理)
4、Grpc (google的Grpc)
各种框架的对比