熔断降级
在分布式系统中,网关作为流量的入口,大量请求进入网关,向后端远程系统或服务发起调用,后端服务不可避免的会产生调用失败(超时或者异常),失败时不能让请求堆积在网关上,需要快速失败并返回回去,这就需要在网关上做熔断、降级操作。
限流
网关上有大量请求,对指定服务进行限流,可以很大程度上提高服务的可用性与稳定性,限流的目的是通过对并发访问/请求进行限速,或对一个时间窗口内的请求进行限速来保护系统。一旦达到限制速率则可以拒绝服务、排队或等待、降级。
Spring Cloud Gateway内置过滤器工厂RequestRateLimiterGatewayFilterFactory
Spring Cloud Gateway内置了一个过滤器工厂RequestRateLimiterGatewayFilterFactory,可以用来直接限流。
内置的限流方案是基于Redis的限流filter,需要添加依赖spring-boot-starter-data-redis-reactive才可以自动开启。该filter使用的是redisScript来进行判断,该script使用的是request_rate_limiter.lua脚本。
打开org.springframework.cloud:spring-cloud-gateway-core:2.0.0.RELEASE jar包,可以看到该jar包使用一个request_rate_limiter.lua脚本实现限流。
目前RequestRateLimiterGatewayFilterFactory的实现依赖于 Redis,所以我们还要引入spring-boot-starter-data-redis-reactive。
下面介绍如何在Spring Cloud Gateway网关中,基于内置过滤器工厂RequestRateLimiterGatewayFilterFactory实现限流。
1. 在Spring Cloud Gateway 项目中,引入响应的jar包。
org.springframework.cloud
spring-cloud-starter-gateway
org.springframework.boot
spring-boot-starter-data-redis-reactive
2. 在application.yml 配置文件中,进行相关限流配置。
配置按照请求IP 来限流
server.port: 8081
spring:
application:
name: gateway
redis:
host: localhost
port: 6379
cloud:
gateway:
routes:
- id: rateLimit_route
uri: http://localhost:8000/hello/rateLimit
order: 0
predicates:
- Path=/test/rateLimit
filters:
#filter名称必须是RequestRateLimiter
- name: RequestRateLimiter
args:
#使用SpEL按名称引用bean
key-resolver: "#{@remoteAddrKeyResolver}"
#流速(每秒) - 令牌桶每秒填充平均速率
redis-rate-limiter.replenishRate: 1
#令牌桶的容量,允许在一秒钟内完成的最大请求数
redis-rate-limiter.burstCapacity: 5
logging:
level:
#org.springframework.cloud.gateway: debug
cn.springcloud.book.filter: debug
上述配置中,设置redis.host=localhost,redis.port=6369,分别表示redis的主机和端口。
- burstCapacity,令牌桶容量。
- replenishRate,令牌桶每秒填充平均速率。
- key-resolver,用于限流的键的解析器的 Bean 对象名字。它使用 SpEL 表达式根据#{@beanName}从 Spring 容器中获取 Bean 对象。
令牌桶算法如下图所示:
3. 编写key-resolver对应的remoteAddrKeyResolver(Bean名称)
具体代码如下。自定义限流标准的key,这里采用IP限流。
通过exchange 对象获取请求信息,请求IP地址等等。
public class RemoteAddrKeyResolver implements KeyResolver {
public static final String BEAN_NAME = "remoteAddrKeyResolver";
@Override
public Mono resolve(ServerWebExchange exchange) {
return Mono.just(exchange.getRequest().getRemoteAddress().getAddress().getHostAddress());
}
}
把key 对应的解析器配置加载到Spring 容器中,代码如下。
@SpringBootApplication
public class GatewayApplication {
@Bean(name = RemoteAddrKeyResolver.BEAN_NAME)
public RemoteAddrKeyResolver remoteAddrKeyResolver() {
return new RemoteAddrKeyResolver();
}
public static void main(String[] args) {
SpringApplication.run(GatewayApplication.class, args);
}
}
4. 启动应用测试
启动Redis,启动Spring Cloud Gateway测试应用,访问如下地址:
http://localhost:8081/test/rateLimit /test/rateLimit 是网关设置的过滤URL。
正常情况下,可以返回结果。
当快速访问多次时,浏览器就返回429 状态码。这是网关限流拒绝请求。
从HttpStatus代码中可以看成,429返回码表示:Too Many Requests.