由于课程涉及到的RPC知识需要自己对其有较为全面的理解后才能比较好的get到课程中提及的各种框架设计的点,因此我建议阅读Kitex框架的源码,再结合课程目录去体会Kitex设计的初衷,笔记就以罗列概况为主,以备后续对比查阅。
基本概念
需要解决的问题
- 函数映射
- 数据转换成字节流
- 网络传输
RPC的好处
- 单一职责,有利于分工协作和运维开发
- 可扩展性强
- 故障隔离,服务整体更可靠
使用RPC的问题
- 服务宕机,对方如何处理?
- 调用时发生网络异常,如何保证消息的可达性?
- 请求量突增导致服务无法及时处理,有哪些应对措施?
分层设计
编解码层
- 语言特定的格式:一些语言内建了将内存对象编码为字节序列的支持,如Java的java.io.Serializable
- 文本格式:JSON、XML、CSV,具有可读性
- 二进制编码:具有跨语言,高性能优点,如Thrift的BinaryProtocol、Protobuf等
协议层
- 特殊结束符:一个特殊字符作为每个协议单元结束标志
- 变长协议:定长加不定长的部分组成,其中定长的部分需要描述不定长内容长度
网络通信层
关键指标
稳定性&易用性&扩展性
- 熔断:保护调用方,防止被调用的服务出现问题而影响整个链路
- 限流:保护被调用方,防止大流量把服务压垮
- 超时控制:避免浪费资源在不可用的节点上
- 请求成功率
- 负载均衡
- 重试
- 长尾请求
- 网络抖动
- GC
- Backup Request(解决方式)
- 注册中间件:以上的功能都通过注册中间件的方式启用
观测性
- Log(日志)、Metric(监控)、Tracing(追踪)
- 内置观测性服务
高性能
- 高吞吐
- 低延迟
- 手段:
- 连接池
- 多路复用
- 高性能编解码协议
- 高性能网络库
企业实践
Kitex是字节跳动内部的Golang微服务RPC框架,先已开源。
Kitex文档:www.cloudwego.io/zh/docs/kit…
Kitex体验:juejin.cn/post/709896…
Kitex源码阅读—脚手架代码的生成(一):juejin.cn/post/710086…
整体架构
自研网络库
原生网络库的问题
- 原生库无法感知连接状态
在使用连接池时,池中存在失效的连接,影响连接池的复用。
- 原生库存在goroutine暴涨的风险
一个连接一个goroutine的模式,由于连接利用率低下,存在大量goroutine占用调度开销,影响性能。
自研网络库 — Netpoll
- 解决无法感知连接状态
引入epoll主动监听机制,感知连接状态
- 解决goroutine暴涨的风险
建立goroutine池,复用goroutine
- 提升性能
引入Nocopy Buffer,向上层提供NoCopy 的调用接口,编解码层面零拷贝
扩展性设计
支持多协议,也支持灵活的自定义协议扩展
性能优化
网络库优化
- 调度优化
- epoll_wait在调度上的控制
- gopool重用goroutine,降低同时运行携程数
- LinkBuffer
- 读写并行无锁,支持nocopy地流式读写
- 高效扩缩容
- Nocopy Buffer池化,减少GC
- Pool
- 引入内存池和对象池,减少GC开销
编解码优化
- Codegen
- 预计算并分配内存,减少内存操作次数,包括内存分配和拷贝
- inline减少函数调用次数和避免不必要的反射操作
- 自研了Go语言实现的Thrift IDL解析和代码生成器,支持完善的Thrift IDL语法和语义检查,并支持了插件机制 — Thriftgo
- JIT
- 使用JIT编译技术改善用户体验的同时带来更强的编解码性能,减轻用户维护生成代码的负担
- 基于JIT编译技术的高性能动态Thrift 编解码器 — Frugal
合并部署
- 微服务过于微小,传输和序列化开销越来越大
- 将亲和性强的服务实例尽可能调度到同一个物理机,远程RPC调用优化为本地IPC调用
小结
由于课程关于RPC框架的理解需要结合具体的使用经验,因此我推荐尝试开始独立阅读Kitex的源码,可以从边缘组件开始,如:分析是如何通过命令行创建脚手架代码的,等逐渐熟悉源码分析的方法之后,可以尝试阅读核心组件的源码,再结合课程的组织目录,仔细体会Kitex的设计。