在双11活动当天凌晨,打折活动开始前多少名客户下单可以半折甚至是免单优惠,客户当然不会放过这个一年一次的机会,疯狂开始。这时候我们程序员小哥哥就苦了,稍一个不注意,服务器驾崩了,次日头条见。那么为了防止在当天凌晨压死服务器的并发,我们想到了一个很好的策略,一分钟搞不定的事情,我们可以两分钟搞定,至少保证我们的服务器不会瘫痪,就是说,假如我们的服务器并发量是1w左右,那么我们可以限制在9000的并发量,超过这个预警我们就严格限制请求访问量不能做越过这个警戒线,做到削峰或者说是平滑这个爆发点。
很快我们程序员小哥哥想到了两个绝佳算法令牌桶和漏斗算法,关于这两种算法,我们接下来就简单介绍下。
令牌桶算法:是网络流量整形和速率限制中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送。
a. 按特定的速率向令牌桶投放令牌
b. 根据预设的匹配规则先对报文进行分类,不符合匹配规则的报文不需要经过令牌桶的处理,直接发送;
c. 符合匹配规则的报文,则需要令牌桶进行处理。当桶中有足够的令牌则报文可以被继续发送下去,同时令牌桶中的令牌 量按报文的长度做相应的减少;
d. 当令牌桶中的令牌不足时,报文将不能被发送,只有等到桶中生成了新的令牌,报文才可以发送。这就可以限制报文的流量只能是小于等于令牌生成的速度,达到限制流量的目的。
漏斗算法:主要目的是控制数据注入到网络的速率,平滑网络上的突发流量。漏斗算法提供了一种机制,通过它,突发流量可以被整形以便为网络提供一个稳定的流量
令牌桶和漏斗对比:
两者主要区别在于漏斗算法能够强行限制数据的传输速率,而令牌桶算法在能够限制数据的平均传输速率外,还允许某种程度的突发传输。在令牌桶算法中,只要令牌桶中存在令牌,那么就允许突发地传输数据直到达到用户配置的门限,所以它适合于具有突发特性的流量。
Redis Cell的使用
简单的介绍这两种限流算法后,我们今天要来使用的是redis4.0提供的漏斗算法Redis Cell,redis只提供了一个命令cl.throttle
cl.throttle user 15 30 60 1
▲ ▲ ▲ ▲ ▲
| | | | └─── apply 1 token #每次申请一个token,默认为1
| | └──┴───── 30 tokens / 60 seconds #速率,60秒生成30个token
| └─────────── 15 max_burst #默认最大初始值
└─────────────── key "user" #key值
> cl.throttle user 15 30 60 1
1) (integer) 0 # 0 表示允许,1表示拒绝
2) (integer) 15 # 漏斗总容量
3) (integer) 14 # 漏斗剩余空间
4) (integer) -1 # 如果拒绝了,需要多长时间后再试(漏斗有空间了,单位秒)
5) (integer) 2 # 表示多久后令牌桶中的令牌会存满(单位秒)
在执行限流指令时,如果被拒绝了,就需要丢弃或重试。cl.throttle指令考虑的非常周到,连重试时间都帮你算好了,直接取返回结果数组的第四个值进行sleep即可,如果不想阻塞线程,也可以异步定时任务来重试。
实现漏斗算法
这里我们简单的模拟一下漏斗算法
private static class Funnel {
private int capacity;
private float leakingRate;
private int leftQuota;
private long leakingTs;
public Funnel(int capacity, int count, int perSecond) {
this.capacity = capacity;
// 因为计算使用毫秒为单位的
perSecond *= 1000;
this.leakingRate = (float) count / perSecond;
}
/**
* 根据上次水流动的时间,腾出已流出的空间
*/
private void makeSpace() {
long now = System.currentTimeMillis();
long time = now - leakingTs;
int leaked = (int) (time * leakingRate);
if (leaked < 1) {
return;
}
leftQuota += leaked;
// 如果剩余大于容量,则剩余等于容量
if (leftQuota > capacity) {
leftQuota = capacity;
}
leakingTs = now;
}
/**
* 漏斗漏水
* @param quota 流量
* @return 是否有足够的水可以流出(是否允许访问)
*/
public boolean watering(int quota) {
makeSpace();
int left = leftQuota - quota;
if (left >= 0) {
leftQuota = left;
return true;
}
return false;
}
}
漏斗限速方法:
public class FunnelRateLimiter {
private Map<String, Funnel> funnelMap = new ConcurrentHashMap<>();
/**
* 根据给定的漏斗参数检查是否允许访问
* @param username 用户名
* @param action 操作
* @param capacity 漏斗容量
* @param allowQuota 每单个单位时间允许的流量
* @param perSecond 单位时间(秒)
* @return 是否允许访问
*/
public boolean isActionAllowed(String username, String action, int capacity, int allowQuota, int perSecond) {
String key = "funnel:" + action + ":" + username;
if (!funnelMap.containsKey(key)) {
funnelMap.put(key, new Funnel(capacity, allowQuota, perSecond));
}
Funnel funnel = funnelMap.get(key);
return funnel.watering(1);
}
}
测试:
public static void main(String[] args) throws InterruptedException {
FunnelRateLimiter limiter = new FunnelRateLimiter();
int testAccessCount = 30;
int capacity = 5;
int allowQuota = 5;
int perSecond = 30;
int allowCount = 0;
int denyCount = 0;
for (int i = 0; i < testAccessCount; i++) {
boolean isAllow = limiter.isActionAllowed("user", "doSomething", 5, 5, 30);
if (isAllow) {
allowCount++;
} else {
denyCount++;
}
System.out.println("访问权限:" + isAllow);
Thread.sleep(1000);
}
System.out.println("报告:");
System.out.println("漏斗容量:" + capacity);
System.out.println("漏斗流动速率:" + allowQuota + "次/" + perSecond + "秒");
System.out.println("测试次数=" + testAccessCount);
System.out.println("允许次数=" + allowCount);
System.out.println("拒绝次数=" + denyCount);
}
一名正在抢救的coder
笔名:mangolove
GitHub地址:https://github.com/mangoloveYu