1. HARPC是什么

HARPC(High Availability RPC)是基于Thrift的跨语言、高可用的RPC框架。具备高性能、高可用、轻量级等特点,在百分点科技内部服务中广泛使用。

2. 要解决的问题

2.1. 不同语言之间的通信问题

实际场景中服务端和客户端往往使用不同的编程语言,比如:客户端是java程序,服务端是C++程序,那么如何高效的通信?

2.2. 负载均衡和容灾处理

当服务并发越来越大,我们希望可以实现服务的水平扩展,那么新增的服务节点如何被自动发现?请求多个服务时,如何进行有效否的负载均衡?某个机器Down机或服务挂掉时,请求方如何快速发现?

2.3. 服务维护成本高

当服务越来越多时,原本简单的问题,也会变得越来越复杂,比如:你想知道某服务在哪台机器上?某服务正在被哪些服务调用?服务请求量和性能怎么样?
这些问题不仅仅是使维护成本大大的提高,更糟糕的情况是,出现问题或故障时,排查十分困难。

3. 业内方案

结合公司内部服务的需求,我们调研了业内主流的几个RPC解决方案,对比如下:

stream 和 grpc的区别_RPC


如上表所示,每种RPC方案都有各自的优缺点,都难以完全满足我们的需求。于是,我们研发了自己的RPC框架,即HARPC。

4. 设计思路

HARPC的核心思想是高可用,那么在保证高可用的基础上,还需要具备跨语言、高性能、可视化及轻量级等特性。于是,我们在设计之初就选择了基于thrift开发的方案,底层通信使用thrift来保证高性能和跨语言,然后HARPC来保证高可用和可视化,并且尽量保持简单,来达到轻量级的需求。

4.1. 整体结构

stream 和 grpc的区别_框架_02


说明:

(1)四个部分:client(客户端)、server(服务端)、registry(注册中心,目前为zookeeper集群)、admin(服务管理系统)

(2)client和server又包括: your code(用户代码)、harpc(核心框架,包含Java、Python、C++三个版本)、thrift gen(thrift生成的源码文件,用于底层通信)

针对不同的使用场景,我们提供了两种方式,用户只需要通过配置来区分:

4.2. 注册中心方式(推荐)

这是推荐的方式,支持服务端自动注册、客户端服务自动发现的功能。

stream 和 grpc的区别_高性能_03

4.3. 直连方式

适用于第三方的thrift服务或没有集成HARPC的服务。

注意:该方式不支持自动发现新的服务节点。

stream 和 grpc的区别_thrift_04

5. 如何使用

HARPC目前支持使用Java、Python和C++三种开发语言,其他语言暂不支持。针对这三种语言,需要使用不同的集成方法,都非常简单,具体参考开源地址。

6. 可视化管理

6.1. 服务信息查看

  • 展示出所有server和client
  • 查找服务地址以及端口信息

6.2. 服务请求状态跟踪

  • 查看服务请求量
  • 查看服务性能

7. 测试结论

HARPC的Java、Python、C++版本的性能略有差别,由高到低为:C++版本 ≈ Java版本 > Python版本,下面仅给出Java版本的测试数据和结论。

7.1. Java版本容错性测试

stream 和 grpc的区别_stream 和 grpc的区别_05


从上述的测试结果来看,HARPC Java版本服务在各种异常情况下均能正常使用或恢复,具备高可用的特性。

7.2. Java版本性能测试情况

stream 和 grpc的区别_stream 和 grpc的区别_06


备注:服务端和客户端分别部署在两台内网服务器上。

从上述的测试数据来看,性能较高。