背景

为什么讲这么小的一个问题呢?因为今天在进行系统上线的时候遇到了这个问题。

这次的上线动作还是比较大的,由于组织架构拆分,某个接入层服务需要在两个部门各自独立部署,以避免频繁的跨部门沟通,提升该接入层服务的变更效率。

该接入层服务之前是使用cookie + 内存session机制的,这次要独立部署,首先是将这种内存session机制改成分布式会话(使用redis),总之,就是做成无状态的。

再其次,就是将原来的流量网关nginx,升级成为openresty。openresty使用lua代码,判断请求应该分发到我们部门的接入层服务,还是另一个部门的接入层服务。

升级成openresty,这块涉及到两件事情,一个是openresty的安装,再一个是修改了原来的nginx.conf。今天升级后,大部分业务验证ok,唯独两三个业务报错,由于是app报错,所以是要了对方的用户名密码在我手机上登录,在电脑上charles抓包,发现报错的原因,竟然是个这。

处理过程

先给大家看下,nginx中原始的配置:

location ~ (^/(cgi-bin|servlet|chart)/|\.jsp$)
{
    proxy_pass http://backendServer;
    include proxy.conf;
}

这个location会匹配/servlet/json这样的请求,我们这次就是对这个请求做了改造,用lua判断应该反向代理到什么地方,如下:

nginx 模糊匹配任意字符串 nginx 地址匹配_nginx

我们最终的openresty(就是增强版本的ng,配置文件都是基本兼容的)配置大概如下:

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

location /Api/   这个是之前就有的,本次没动
{
    proxy_pass http://ApiGatewayServer/;
    include proxy.conf;
}
location ~ (^/(cgi-bin|chart)/|\.jsp$)
{
    proxy_pass http://info-tech-department-upstream;
    include proxy.conf;
}

在我们上述这个配置里,http://www.test.com/servlet/json 这样的请求,就会匹配上location /servlet/jsonhttp://www.test.com/Api 这样的请求,就会匹配上location /Api,但是,我抓包后,发现竟然报错的请求长这样:

http://www.test.com/Api/servlet/json

而查看openresty日志,发现其匹配上了location /servlet/json,而不是预期的location /Api/,这自然就是问题所在了。

http://www.test.com/Api/servlet/json 这样一个请求,能匹配上下面这个location,我觉得正常:

location /Api/   这个是之前就有的,本次没动
{
    proxy_pass http://ApiGatewayServer/;
    include proxy.conf;
}

但是,竟然也匹配上了下面这个location:

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

此时,我才开始搜索,这个 location 后面的 ~ 符号的确切意思,我知道这个表示正则,但是没想到,这种请求路径/Api/servlet/json包含了/servlet/json也能匹配上。

我刚开始以为是这种匹配上了多个,那我是不是换下顺序就好了,把/Api那个location放到了文件最前面:

location /Api/   这个是之前就有的,本次没动
{
    proxy_pass http://ApiGatewayServer/;
    include proxy.conf;
}

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

结果还是没效果。

没效果的话,我最终解决的办法就是,修改location ~ /servlet/json为只匹配/servlet/json开头的那些请求。

最终的改动如下:

// ^在正则中,一般表示匹配一行的开头,所以,我这里加了^
location ~ ^/servlet/json {

}

终于ok了。

说起来,确实是对原nginx的配置文件迁移出的这个问题,人家以前是:

location ~ (^/(cgi-bin|servlet|chart)/|\.jsp$)
{
    proxy_pass http://backendServer;
    include proxy.conf;
}

这个是匹配/cgi-bin、/servlet、/chart开头的请求,或者是jsp结尾的请求,我一迁移,就把意思整错了。

那这块的匹配机制到底是怎样的呢?

location匹配机制

官网:

https://nginx.org/en/docs/http/ngx_http_core_module.html#location

语法如下:

Syntax:	location [ = | ~ | ~* | ^~ ] uri { ... }
location @name { ... }
Default:	—
Context:	server, location

按文档的说法,location 和 uri之间,可以什么都没有,如我们上面的:

location /Api/

这种呢,就算是前缀匹配。

比如,

location / {
    [ configuration B ]
}

/index.html 这种url就可以匹配。

当然,也可以在location和uri中间加如下几种符号:

  • =
    完全匹配,比如,
location = / {
    [ configuration A ]
}

只能匹配“/” 这个请求,其他请求都不能匹配,这个优先级最高

  • ~ (uri部分为:大小写敏感的正则)或者 ~* (uri部分:大小写不敏感的正则)
    这种就是正则匹配,也就是我们前面的
location ~ /servlet/json {

这种,居然就匹配上了/Api/servlet/json,我不是很理解,但大家要谨慎。好好学习下这块的正则表达式怎么写。

  • ^~
    这种,一会再讲。

匹配逻辑:

首先,对uri进行normalize,也就是,比如url有特殊字符的话,一般浏览器会自动编码成%XX这种,另外,可能url中也有相对路径,或者有重复的斜杠,都要处理。

The matching is performed against a normalized URI, after decoding the text encoded in the “%XX” form, resolving references to relative path components “.” and “..”, and possible compression of two or more adjacent slashes into a single slash.

接下来,nginx首先会找出整个server块中,前缀匹配的所有location(就是location和uri中间啥都不加的那种),然后挨个匹配,找出最长前缀匹配的那个location,在我们前面的例子中,就会找到:

location /Api/

但是,找到了之后,不会结束;还要继续找正则类型的location,这次就是按照文件的顺序,从上到下找,

如果找到了,直接使用;如果没找到,则使用最长前缀的那个。

这次,在我们的例子中,就会找到如下部分,且直接使用这个location,不再继续找。

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

所以,这里的逻辑就是:

1、先找 = 这种完全匹配的,找到就结束;
2、开始找前缀匹配这种的,没找到就算了,找到了也只是做个标记,把最长前缀那个location记录下来,假设为location A;
3、开始找正则这种类型的location,从上到下找,找到就直接停止,就用这个;没找到就继续找下一个正则类型;如果最终,完全没找到正则类型的,就用第二步里找到的location A

当然了,对于这个机制,有个小例外,就是有一种符号,可以打破这种机制:

^~

这个符号加在前缀类型的location上,如果最长前缀的那个location,加了这个符号,直接结束,不找正则类型的了。原文:

If the longest matching prefix location has the “^~” modifier then regular expressions are not checked.

这个符号,感觉很容易误用,一开始没研究之前,我以为^是一行的开头的意思,危险。

我以前,以为前缀这种优先级很高,没想到,比正则要低,被正则压着打啊。

推荐工具

https://nginx.viraptor.info/

location ~ /servlet/json {
	proxy_pass http://localhost:8082;
}
location /Api/
{
	proxy_pass http://localhost:8083;
}

这边有个网站,可以贴配置进去,检测到底匹配上哪个:

nginx 模糊匹配任意字符串 nginx 地址匹配_nginx 模糊匹配任意字符串_02

参考资料

大家也可以看下参考文档:

https://stackoverflow.com/questions/5238377/nginx-location-priority

nginx 模糊匹配任意字符串 nginx 地址匹配_正则_03

nginx 模糊匹配任意字符串 nginx 地址匹配_正则_04