引入

问题：当负载太高时，有些机器配置比较低，很可能就扛不住压力了，有没有什么比较好的服务治理策略呢？

rpc自带负载均衡吗 rpc负载均衡原理_rpc自带负载均衡吗

解决：在治理平台上调低这几台机器的权重，这样的话，访问的流量自然就减少了

问题：但是发现服务可用率降低时，业务就已经受影响了，处理需要时间。RPC框架中没有有什么智能负载的机制，能够及时的自动的控制服务节点接收到的访问量？

什么是负载均衡

什么是负载均衡？当我们的一个服务节点无法支持现有的访问量时，我们会部署多个节点，组成一个集群，然后通过负载均衡，将请求分发给这个集群下的每个服务节点，从而达到多个服务节点共同分担请求压力的目的。

rpc自带负载均衡吗 rpc负载均衡原理_负载均衡_02

负载均衡主要分为软负载和硬负载，软负载就是在一台或者多台服务器（比如nginx等）上安装负载均衡软件，硬负载就是通过硬件设备（比如F5服务器等）在实现负载均衡。负载均衡的算法主要有随机法、轮询法、最小连接法等。

RPC框架中的负载均衡

RPC 框架的负载均衡，它与 Web 服务的负载均衡的不同之处在于：RPC 框架并不是依赖一个负载均衡设备或者负载均衡服务器来实现负载均衡的，而是由RPC 框架本身实现的，服务调用者可以自主选择服务节点，发起服务调用。

这样的好处是，RPC 框架不再需要依赖专门的负载均衡设备，可以节约成本；还减少了与负载均衡设备间额外的网络传输，提升了传输效率；并且均衡策略可配，便于服务治理。

rpc自带负载均衡吗 rpc负载均衡原理_网络_03


RPC的服务调用者会与“注册中心”下发的所有服务节点建立长连接，在每次发起RPC调用时，服务调用者都会通过配置的负载均衡插件，自主选择一个服务节点，发起RPC调用请求。

RPC负载均衡策略一般包括随机权重、Hash、轮询。随机权重策略最常用，通过它，我们可以基本保证每个节点接收到的流量是均匀的；同时我们还可以通过控制节点权重的方式，来进行流量控制。比如我们默认每个节点的权重都是 100，但当我们把其中的一个节点的权重设置成 50 时，它接收到的流量就是其他节点的 1/2。

由于负载均衡机制完全是由RPC框架自身实现的，所以它不再需要依赖任何负载均衡设备，自然也不会发送负载均衡设备的单点问题，服务调用方的负载均衡策略也完全可配，同时我们可以通过控制权重的方式，对负载均衡进行治理。

了解完 RPC 框架的负载均衡，现在我们就可以回到这讲最开头业务提的那个需求：有没有什么办法可以动态地、智能地控制线上服务节点所接收到的请求流量？通过设计一种自适应的负载均衡策略。

如何设计自适应的负载均衡

RPC的负载均衡完全由RPC框架自身实现，服务调用方发起请求时，会通过配置的负载均衡插件，自主的选择服务节点。那是不是只要知道每个服务节点处理请求的能力，并根据能力来决定要打给它多少流量就可以了？当一个服务节点负载过高或者响应过慢时，就少发给它请求，反之则多给它发送请求。

那服务调用者节点又该如何判定一个服务节点的处理能力呢？

这里我们可以采用一种打分的策略，服务调用者收集与之建立长连接的每个服务节点的指标数据，如服务节点的负载指标、CPU 核数、内存大小、请求处理的耗时指标（如请求平均耗时、TP99、TP999）、服务节点的状态指标（如正常、亚健康）。通过这些指标，计算出一个分数，比如总分 10 分，如果 CPU 负载达到 70%，就减它 3 分，当然了，减 3 分只是个类比，需要减多少分是需要一个计算策略的。

我们又该如果根据这些指标来打分呢？

这就有点像公司对员工进行年终考核。假设我是老板，我要考核专业能力、沟通能力和工作态度，这三项的占比分别是 30%、30%、40%，我给一个员工的评分是 10、8、8，那他的综合分数就是这样计算的：1030%+830%+8*40%=8.6 分。

给服务节点打分也一样，我们可以为每个指标都设置一个指标权重占比，然后再根据这些指标数据，计算分数。

服务调用者给每个服务节点都打完分之后，会发送请求，那这时候我们又该如何根据分数去控制给每个服务节点发送多少流量呢？

我们可以配合随机权重的负载均衡策略去控制，通过最终的指标分数修改服务节点最终的权重。例如给一个服务节点综合打分是 8 分（满分 10 分），服务节点的权重是 100，那么计算后最终权重就是 80（100*80%）。服务调用者发送请求时，会通过随机权重的策略来选择服务节点，那么这个节点接收到的流量就是其他正常节点的 80%（这里假设其他节点默认权重都是 100，且指标正常，打分为 10 分的情况）。

到这儿，一个自适应的负载均衡我们就完成了，整体的设计方案如下图所示：

  1. 添加服务指标收集器，并将其作为插件，默认有运行时状态指标收集器、请求耗时指标
    收集器。
  2. 运行时状态指标收集器收集服务节点 CPU 核数、CPU 负载以及内存等指标，在服务调
    用者与服务提供者的心跳数据中获取。
  3. 请求耗时指标收集器收集请求耗时数据，如平均耗时、TP99、TP999 等。
    可以配置开启哪些指标收集器，并设置这些参考指标的指标权重，再根据指标数据和指
    标权重来综合打分。
  4. 通过服务节点的综合打分与节点的权重，最终计算出节点的最终权重，之后服务调用者
    会根据随机权重的策略，来选择服务节点。

rpc自带负载均衡吗 rpc负载均衡原理_rpc自带负载均衡吗_04


RPC中自适应负载均衡的关键点在于调用端收集服务端每个节点的指标数据，再根据各方面的指标数据进行计算打分，最后根据每个节点的分数，将更多的流量打到分数较高的节点上