什么是高可用

高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。

假设 系统一直能够提供服务,我们说系统的可用性是100%。

如果系统每运行100个时间单位,会有1个时间单位无法提供服务,我们说系统的可用性是99%。

很多公司的高可用目标是4个9,就是99.99%,也就是说,系统的年停机时间为8.76个小时。


百度的搜索首页,是业内公认高可用保障非常出色的系统,甚至人们会通过baidu.com能不能访问来判断“网络的连通性”,百度高可用服务让人留下了“网络通畅,百度就能访问”,“百度打不开,应该是网络连不上”的印象,这其实是对百度HA最高的褒奖。


下面介绍配置dubbo高可用的一些方法。

zookeeper宕机与dubbo直连

在实际生产过程中,假如zookeeper注册中心宕掉,一段时间内服务消费方还是能够调用提供方的服务的,实际上它使用的本地缓存进行通信,这是dubbo健壮性的一种。

​dubbo 健壮性的表现:​

1、监控中心宕掉不影响使用,只是丢失部分采样数据

2、数据库宕掉后,注册中心仍能通过缓存提供服务列表查询,但不能注册新服务

3、注册中心对等集群,任意一台宕掉后,将自动切换到另一台

4、注册中心全部宕掉后,服务提供者和服务消费者仍能通过本地缓存通讯

5、服务提供者无状态,任意一台宕掉后,不影响使用

6、服务提供者全部宕掉后,服务消费者应用将无法使用,并无限次重连等待服务提供者恢复

注册中心的作用在于保存服务提供者的位置信息,我们完全可以绕过注册中心——采用dubbo直连,即在服务消费方配置服务提供方的位置信息。

点对点直连方式,将以服务接口为单位,忽略注册中心的提供者列表,A接口配置点对点,不影响B接口从注册中心获取列表。

<dubbo:reference id="userService" interface="com.test.gmall.service.UserService" url="dubbo://localhost:20880" />

注册上直接添加:

@Reference(url = "127.0.0.1:20880")   
UserService userService;

集群下dubbo负载均衡配置

在集群负载均衡时,Dubbo提供了四种均衡策略。缺省时为Random 随机调用。


  • Random LoadBalance :随机均衡算法
  • RoundRobin LoadBalance: 权重轮循均衡算法
  • LeastAction LoadBalance:最少活跃调用数均衡算法
  • ConsistentHash LoadBalance:一致性Hash均衡算法

1、Random LoadBalance

随机,按权重设置随机概率。

在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。

2、RoundRobin LoadBalance

轮询,按公约后的权重设置轮询比率。

存在慢的提供者累积请求的问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。

3、LeastActive LoadBalance

最少活跃调用数,相同活跃数的随机,活跃数指调用前后计数差。

使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大。

4、ConsistentHash LoadBalance

一致性 Hash,相同参数的请求总是发到同一提供者。

当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。

算法参见:http://en.wikipedia.org/wiki/Consistent_hashing

缺省只对第一个参数 Hash,如果要修改,请配置

<dubbo:parameter key="hash.arguments" value="0,1" />

缺省用 160 份虚拟节点,如果要修改,请配置

<dubbo:parameter key="hash.nodes" value="320" />

配置方法:

配置方法很简单,服务端和客户端都可以配置服务级别或者方法级别的策略。

消费方服务级别配置(基于注解的权重轮询均衡算法):

@Reference(loadbalance = "roundrobin")
UserService userService;

服务方方法级别配置(基于XML配置的权重轮询均衡算法):

<dubbo:service interface="com.zang.gmall.service.UserService" 
<dubbo:method name="getUserAddressList" loadbalance="roundrobin"></dubbo:method>
</dubbo:service>

权重设置

当不设置负载均衡策略,即采用默认的Random LoadBalance(随机均衡算法)时,默认每个服务的权重相同,我们可以通过设置权重来分配访问的随机性。

权重默认为100,可以在暴露服务的同时设置

@Service(weight=200)
@Component
public class UserServiceImpl implements UserService{
......
}

还有一种方法就是通过管理控制台来直接设置服务提供者

Dubbo高可用及集群容错模式_服务提供者

服务降级

当服务器压力剧增的情况下,根据实际业务情况及流量,对一些服务和页面有策略的不处理或换种简单的方式处理,从而释放服务器资源以保证核心交易正常运作或高效运作。

可以通过服务降级功能临时屏蔽某个出错的非关键服务,并定义降级后的返回策略(不调用服务即返回为空 or 调用失败返回为空)。

向注册中心写入动态配置覆盖规则:

RegistryFactory registryFactory = ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
Registry registry = registryFactory.getRegistry(URL.valueOf("zookeeper://10.20.153.10:2181"));
registry.register(URL.valueOf("override://0.0.0.0/com.foo.BarService?category=configurators&dynamic=false&application=foo&mock=force:return+null"));

  • mock=force:return+null :表示消费方对该服务的方法调用都直接返回null值,不发起远程调用。用来屏蔽不重要服务不可用时对调用方的影响。
  • mock=fail:return+null :表示消费方对该服务的方法调用在失败后,再返回null值,不抛异常。用来容忍不重要服务不稳定时对调用方的影响。

通过操作管理控制台可以方便的进行服务降级:

Dubbo高可用及集群容错模式_高可用_02

集群容错

在集群调用失败时,Dubbo提供了多种容错方案,缺省为failover重试。

Dubbo高可用及集群容错模式_权重_03

各节点关系:


  • 这里的 Invoker 是 Provider 的一个可调用 Service 的抽象,Invoker 封装了 Provider 地址及 Service 接口信息
  • Directory 代表多个 Invoker,可以把它看成 List ,但与 List 不同的是,它的值可能是动态变化的,比如注册中心推送变更
  • Cluster 将 Directory 中的多个 Invoker 伪装成一个 Invoker,对上层透明,伪装过程包含了容错逻辑,调用失败后,重试另一个
  • Router 负责从多个 Invoker 中按路由规则选出子集,比如读写分离,应用隔离等
  • LoadBalance 负责从多个 Invoker 中选出具体的一个用于本次调用,选的过程包含了负载均衡算法,调用失败后,需要重选

集群容错模式

在集群调用失败时,Dubbo提供了多种容错方案,缺省为failover 重试。

1、Failover Cluster

失败自动切换,当出现失败,重试其他服务器。通常用于读操作,但重试会带来更长延迟。可通过 retries=“2” 来设置重试次数(不含第一次)。

消费方服务级注解添加(不能到方法级)

Dubbo高可用及集群容错模式_权重_04

提供者方法级XML添加

Dubbo高可用及集群容错模式_高可用_05

2、 Failfast Cluster

快速失败,只发起一次调用,失败立即报错。通常用于非幂等性的写操作,比如新增记录。

3、Failsafe Cluster

失败安全,出现异常时,直接忽略。通常用于写入审计日志等操作。

4、Failback Cluster

失败自动恢复,后台记录失败请求,定时重发。通常用于消息通知操作。

5、Forking Cluster

并行调用多个服务器,只要一个成功即返回。通常用于实时性要求较高的读操作,但需要浪费更多服务资源。可通过 forks=“2” 来设置最大并行数。

6、Broadcast Cluster

广播调用所有提供者,逐个调用,任意一台报错则报错。通常用于通知所有提供者更新缓存或日志等本地资源信息。

集群模式配置方法:

在服务提供方和消费方配置集群模式

<dubbo:service cluster="failsafe">
<dubbo:reference cluster="failsafe">

整合Hystrix

Hystrix 旨在通过控制那些访问远程系统,服务和第三方库的节点,从而对延迟和故障提供更强大的容错能力

。Hystrix 具备拥有回退机制和断路器功能的线程和信号隔离,请求缓存和请求打包,以及监控和配置等功能。

1、spring boot官方提供了对Hystrix的集成,直接在pom.xml里加入依赖:

<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
<version>1.4.4.RELEASE</version>
</dependency>

2、然后在Application 类上增加 @EnableHystrix 来启用 Hystrix starter:

@EnableDubbo
@EnableHystrix
@SpringBootApplication
public class UserServiceProviderApplication{
......
}

3、配置服务提供方

在Dubbo的provider上增加 @HystrixCommand 配置,这样调用就会经过 Hystrix代理。

Dubbo高可用及集群容错模式_服务提供者_06

4、配置服务消费方

对于Consumer端,则可以增加一层method调用,并在 method 上配置 @HystrixCommand 。当调用出错时,会走到 failbackMethod=“reliable”的调用里。

Dubbo高可用及集群容错模式_高可用_07

PS:@HystrixCommand 注解设置的reliable调用方法里的参数要和method 的参数保持一致。