熔断、降级、限流简介

什么是熔断


A 服务调用 B 服务的某个功能,由于网络不稳定问题,或者 B 服务卡机,导致功能时


间超长。如果这样子的次数太多。我们就可以直接将 B 断路了(


A 不再请求 B 接口),凡是


调用 B 的直接返回降级数据,不必等待 B 的超长执行。 这样 B 的故障问题,就不会级联影


响到 A 。


什么是降级


整个网站处于流量高峰期,服务器压力剧增,根据当前业务情况及流量,对一些服务和


页面进行有策略的降级 [ 停止服务,所有的调用直接返回降级数据 ] 。以此缓解服务器资源的


的压力,以保证核心业务的正常运行,同时也保持了客户和大部分客户的得到正确的相应。


异同:


相同点:


1 、为了保证集群大部分服务的可用性和可靠性,防止崩溃,牺牲小我


2 、用户最终都是体验到某个功能不可用


不同点:


1 、熔断是被调用方故障,触发的系统主动规则 2 、降级是基于全局考虑,停止一些正常服务,释放资源


什么是限流


对打入服务的请求流量进行控制,使服务能够承担不超过自己能力的流量压力


Sentinel简介


官方文档: https://github.com/alibaba/Sentinel/wiki/%E4%BB%8B%E7%BB%8D


项目地址: https://github.com/alibaba/Sentinel


随着微服务的流行,服务和服务之间的稳定性变得越来越重要。 Sentinel 以流量为切入点,


从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。



Sentinel 具有以下特征:



丰富的应用场景 :Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场



景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集



群流量控制、实时熔断下游不可用应用等。



完备的实时监控 :Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入



应用的单台机器秒级数据,甚至 500 台以下规模的集群的汇总运行情况。



广泛的开源生态 :Sentinel 提供开箱即用的与其它开源框架/库的整合模块,例如



与 Spring Cloud、Dubbo、gRPC 的整合。您只需要引入相应的依赖并进行简单的配



置即可快速地接入 Sentinel。



完善的 SPI 扩展点 :Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过



实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。





如何降低项目的springBoot版本 springboot限流降级_如何降低项目的springBoot版本


 

Sentinel围绕着两个词,就是资源和规则

资源:

资源是 Sentinel 的关键概念。它可以是 Java 应用程序中的任何内容,例如,由应用程序提供的服务,或由应用程序调用的其它应用提供的服务,甚至可以是一段代码。

只要通过 Sentinel API 定义的代码,就是资源,能够被 Sentinel 保护起来。大部分情况下,可以使用方法签名,URL,甚至服务名称作为资源名来标示资源。

规则:

围绕资源的实时状态设定的规则,可以包括流量控制规则、熔断降级规则以及系统保护规则。所有规则可以动态实时调整。

Sentinel 功能和设计理念

什么是流量控制

流量控制在网络传输中是一个常用的概念,它用于调整网络包的发送数据。然而,从系统稳定性角度考虑,在处理请求的速度上,也有非常多的讲究。任意时间到来的请求往往是随机不可控的,而系统的处理能力是有限的。我们需要根据系统的处理能力对流量进行控制。Sentinel 作为一个调配器,可以根据需要把随机的请求调整成合适的形状,如下图所示:

如何降低项目的springBoot版本 springboot限流降级_spring cloud_02

流量控制设计理念

流量控制有以下几个角度:

  • 资源的调用关系,例如资源的调用链路,资源和资源之间的关系;
  • 运行指标,例如 QPS、线程池、系统负载等;
  • 控制的效果,例如直接限流、冷启动、排队等。

Sentinel 的设计理念是让您自由选择控制的角度,并进行灵活组合,从而达到想要的效果。

熔断降级

什么是熔断降级

除了流量控制以外,及时对调用链路中的不稳定因素进行熔断也是 Sentinel 的使命之一。由于调用关系的复杂性,如果调用链路中的某个资源出现了不稳定,可能会导致请求发生堆积,进而导致级联错误。

如何降低项目的springBoot版本 springboot限流降级_spring_03

Sentinel 和 Hystrix 的原则是一致的: 当检测到调用链路中某个资源出现不稳定的表现,例如请求响应时间长或异常比例升高的时候,则对这个资源的调用进行限制,让请求快速失败,避免影响到其它的资源而导致级联故障。

熔断降级设计理念 

在限制的手段上,Sentinel 和 Hystrix 采取了完全不一样的方法。

Hystrix 通过 线程池隔离 的方式,来对依赖(在 Sentinel 的概念中对应 资源)进行了隔离。这样做的好处是资源和资源之间做到了最彻底的隔离。缺点是除了增加了线程切换的成本(过多的线程池导致线程数目过多),还需要预先给各个资源做线程池大小的分配。

Sentinel 对这个问题采取了两种手段:

  • 通过并发线程数进行限制

和资源池隔离的方法不同,Sentinel 通过限制资源并发线程的数量,来减少不稳定资源对其它资源的影响。这样不但没有线程切换的损耗,也不需要您预先分配线程池的大小。当某个资源出现不稳定的情况下,例如响应时间变长,对资源的直接影响就是会造成线程数的逐步堆积。当线程数在特定资源上堆积到一定的数量之后,对该资源的新请求就会被拒绝。堆积的线程完成任务后才开始继续接收请求。

  • 通过响应时间对资源进行降级

除了对并发线程数进行控制以外,Sentinel 还可以通过响应时间来快速降级不稳定的资源。当依赖的资源出现响应时间过长后,所有对该资源的访问都会被直接拒绝,直到过了指定的时间窗口之后才重新恢复。

系统自适应保护

Sentinel 同时提供系统维度的自适应保护能力。防止雪崩,是系统防护中重要的一环。当系统负载较高的时候,如果还持续让请求进入,可能会导致系统崩溃,无法响应。在集群环境下,网络负载均衡会把本应这台机器承载的流量转发到其它的机器上去。如果这个时候其它的机器也处在一个边缘状态的时候,这个增加的流量就会导致这台机器也崩溃,最后导致整个集群不可用。

针对这个情况,Sentinel 提供了对应的保护机制,让系统的入口流量和系统的负载达到一个平衡,保证系统在能力范围之内处理最多的请求。

Sentinel 是如何工作的

Sentinel 的主要工作机制如下:

  • 对主流框架提供适配或者显示的 API,来定义需要保护的资源,并提供设施对资源进行实时统计和调用链路分析。
  • 根据预设的规则,结合对资源的实时统计信息,对流量进行控制。同时,Sentinel 提供开放的接口,方便您定义及改变规则。
  • Sentinel 提供实时的监控系统,方便您快速了解目前系统的状态。

参考:主页 · alibaba/Sentinel Wiki · GitHub

Spring-Boot整合Sentinel进行服务的限流、熔断、降级

首先导入Maven依赖

<dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>     <version>对应cloud版本号</version> </dependency>

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> <version>2.2.0.RELEASE</version> </dependency>

自定义流量过大后返回类型的配置 - SeckillSentinelConfig

@Configuration
public class SeckillSentinelConfig {

    public SeckillSentinelConfig(){
        WebCallbackManager.setUrlBlockHandler(new UrlBlockHandler() {
            @Override
            public void blocked(HttpServletRequest httpServletRequest, HttpServletResponse httpServletResponse, BlockException e) throws IOException {
                R error = R.error(BizCodeEnume.TOO_MANY_REQUEST.getCode(), BizCodeEnume.TOO_MANY_REQUEST.getMsg());
                httpServletResponse.setCharacterEncoding("UTF-8");
                httpServletResponse.setContentType("application/json");
                httpServletResponse.getWriter().write(JSON.toJSONString(error));
            }
        });
    }
}

properties配置项

spring.cloud.sentinel.transport.dashboard=localhost:8080 feign.sentinel.enabled=true management.endpoints.web.exposure.include=* spring.cloud.sentinel.transport.port=8719

在sentinle官网下载对应maven导入的版本的sentinel,然后 直接运行下载的jar包

如何降低项目的springBoot版本 springboot限流降级_java_04

使用默认账号:sentinel   默认密码:sentinel 进行登录

登陆后即可看到加载了sentinel监控的服务的各个接口的流量情况

如何降低项目的springBoot版本 springboot限流降级_sentinel_05

流控:

如何降低项目的springBoot版本 springboot限流降级_spring_06

(通过界面创建的规则,重启服务后就会失效)

 

如何降低项目的springBoot版本 springboot限流降级_spring cloud_07

 

如何降低项目的springBoot版本 springboot限流降级_sentinel_08

Spring-Cloud-Alibaba-Gateway 网关整合Sentinel

先导入对应依赖

<dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-alibaba-sentinel-gateway</artifactId> <version>对应ALlibaba cloud版本</version> </dependency>

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> <version>2.2.0.RELEASE</version> </dependency>

<dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>   <version>对应ALlibaba cloud版本</version> </dependency>

 

如何降低项目的springBoot版本 springboot限流降级_sentinel_09

 给指定服务添加流控规则

如何降低项目的springBoot版本 springboot限流降级_sentinel_10

如何降低项目的springBoot版本 springboot限流降级_sentinel_11

 

如何降低项目的springBoot版本 springboot限流降级_如何降低项目的springBoot版本_12

 测试流控规则:

成功:

如何降低项目的springBoot版本 springboot限流降级_java_13

失败:

 

如何降低项目的springBoot版本 springboot限流降级_如何降低项目的springBoot版本_14

 定制网关流控的返回,毕竟这一串英文还是不太直观:

@Configuration
public class SentinelGatewayConfig {

    public SentinelGatewayConfig(){
        GatewayCallbackManager.setBlockHandler(new BlockRequestHandler() {
            //网关限流了请求,就会调用此回调 Mono Flux
            @Override
            public Mono<ServerResponse> handleRequest(ServerWebExchange serverWebExchange, Throwable throwable) {

                R error = R.error(BizCodeEnume.TOO_MANY_REQUEST.getCode(),BizCodeEnume.TOO_MANY_REQUEST.getMsg());
                String errJson = JSON.toJSONString(error);

                Mono<ServerResponse> body = ServerResponse.ok().body(Mono.just(errJson), String.class);
                return body;
            }
        });
    }

}

总结

服务的流量控制很重要,可以利用这些成熟的中间件来进行嵌入。