一、存储
前段时间,我花了不少时间来寻求一种方法,把新开发的代码推送到到生产系统中部署,生产系统要能够零宕机、对使用用户零影响。
我的设想是使用集群来搞定,通过通知负载均衡Nginx,取下集群中的Tomcat节点,然后对Tomcat上的应用进行升级,再通知负载均衡Nginx,把Tomcat节点重新加载上去。依次这么做,把集群中的所有Tomcat都替换一次即可。
那么问题来了,在取下Tomcat节点和加载新Tomcat节点时如何做到对用户无影响呢?方法很简单,共享Session。
下面,我们用实例来说明此方案。我们的例子使用了一台Nginx做负载均衡,后端挂接了两台Tomcat,且每台Tomcat的Session会话都保存到Redis数据库中。其中,Nginx配置为non-sticky运行模式,也即每一个请求都可以被分配到集群中的任何节点。当要上线新代码时,只需简单地取下Tomcat实例,此时所有的访问用户会被路由到活动的Tomcat实例中去,而且由于会话数据都是保存在Redis数据库中,所以活跃用户并不会受影响。当Tomcat更新完毕,又可以把此节点加入到Nginx中。
安装Nginx
[javascript] view plain copy print ?
- # sudo rpm -ivh nginx-1.4.2-1.el6.ngx.x86_64.rpm
<span style="font-size:14px;"># sudo rpm -ivh nginx-1.4.2-1.el6.ngx.x86_64.rpm</span>
修改配置文件/etc/nginx/nginx.conf,并添加下面的内容:
[javascript] view plain copy print ?
1. http {
2. upstream tomcat {
3. server localhost:8080;
4. server localhost:8081;
5. }
6. include /etc/nginx/mime.types;
7. default_type application/octet-stream;
<span style="font-size:14px;">http {
upstream tomcat {
server localhost:8080;
server localhost:8081;
}
include /etc/nginx/mime.types;
default_type application/octet-stream;
</span>
修改配置文件/etc/nginx/conf.d/default.conf并替换location部分的内容:
[javascript] view plain copy print ?
1. location / {
2. //tomcat;
3. }
<span style="font-size:14px;">location / {
proxy_pass http://tomcat;
}
</span>
重启Nginx
[javascript] view plain copy print ?
1. # sudo service nginx restart
<span style="font-size:14px;"># sudo service nginx restart</span>
接下来,安装两个Tomcat实例。由于我们是在同一台服务器上做的演示,要让两台Tomcat不发生冲突,需要修改第二个Tomcat实例的端口号。由于Nginx配置为non-sticky运行模式,对每个请求采用的是Round-robin负载均衡方式,这意味着它会为每个请求都抽奖一个新会话。
接着,下载并安装Redis。步骤省略,很简单。
最后,我们需要配置Tomcat,让Tomcat把会话Session保存到Redis数据库。
我们要使用tomcat-redis-session-manager这样的第三方库,主页见:
https://github.com/jcoleman/tomcat-redis-session-manager
要注意此库并非开箱即用的,使用时需要做一些调整。你需要下载源码,并在更新了依赖库的版本后,重建项目。比如我使用了commons-pool2-2.2.jar和jedis-2.6.1.jar依赖库。要记住把这些jar文件复制到每一个Tomcat实例的lib子目录下。
在更新了commons-pool、jedis和tomcat版本这些库后,你可以使用build.gradle来构建整个项目。构建完毕后,复制新生成的tomcat-redis-session-manager-1.2.jar到每一个Tomcat实例的lib子目录下。并在修改每一个Tomcat实例的context.xml配置文件:
[javascript] view plain copy print ?
1. <Valve className="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve"
2. <Manager className="com.orangefunction.tomcat.redissessions.RedisSessionManager"
3. "localhost"
4. "6379"
5. "0"
6. "60"
<span style="font-size:14px;"><Valve className="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve" />
<Manager className="com.orangefunction.tomcat.redissessions.RedisSessionManager"
host="localhost"
port="6379"
database="0"
maxInactiveInterval="60" />
</span>
重启Tomcat实例。可以检查到Redis确实保存了Tomcat的会话。然后我们对Tomcat实例取下或恢复时,访问用户确实没受影响。
二、配置
本文记录nginx+redis+tomcat实现session共享的过程
nginx安装:
redis安装:
准备两个tomcat,修改相应的端口
名称 | IP | 端口 | tomcat版本 | JDK |
tomcat1 | 10.10.49.23 | 8080 | 7.0.40 | 1.7.0_25 |
tomcat2 | 10.10.49.15 | 8081 | 7.0.40 | 1.7.0_25 |
修改nginx.conf加上:
[html] view plain copy print ?
1. upstream backend {
2. max_fails=1 fail_timeout=10s;
3. max_fails=1 fail_timeout=10s;
4. }
<span style="font-size:14px;"> upstream backend {
server 10.10.49.23:8080 max_fails=1 fail_timeout=10s;
server 10.10.49.15:8081 max_fails=1 fail_timeout=10s;
}</span>
<span style="font-size:14px;"> upstream backend {
server 10.10.49.23:8080 max_fails=1 fail_timeout=10s;
server 10.10.49.15:8081 max_fails=1 fail_timeout=10s;
}</span>
修改nginx.conf的location成
[html] view plain copy print ?
1. location / {
2. root html;
3. index index.html index.htm;
4. proxy_pass http://backend;
5. }
<span style="font-size:14px;"> location / {
root html;
index index.html index.htm;
proxy_pass http://backend;
}
</span>
启动nginx。
下载tomcat-redis-session-manager相应的jar包,主要有三个:
wget https://github.com/downloads/jcoleman/tomcat-redis-session-manager/tomcat-redis-session-manager-1.2-tomcat-7-java-7.jar
wget http://central.maven.org/maven2/redis/clients/jedis/2.5.2/jedis-2.5.2.jar
wget http://central.maven.org/maven2/org/apache/commons/commons-pool2/2.0/commons-pool2-2.0.jar
下载完成后拷贝到$TOMCAT_HOME/lib中
修改两tomcat的context.xml:
[html] view plain copy print ?
1. <Context>
2.
3. <!-- Default set of monitored resources -->
4. <WatchedResource>WEB-INF/web.xml</WatchedResource>
5.
6. <!-- Uncomment this to disable session persistence across Tomcat restarts -->
7. <!--
8. <Manager pathname="" />
9. -->
10.
11. <!-- Uncomment this to enable Comet connection tacking (provides events
12. >
13. <!--
14. <Valve className="org.apache.catalina.valves.CometConnectionManagerValve" />
15. -->
16.
17. <Valve className="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve" />
18. <Manager className="com.orangefunction.tomcat.redissessions.RedisSessionManager"
19. host="10.10.49.20"
20. port="6379"
21. database="0"
22. maxInactiveInterval="60" />
23. </Context>
<span style="font-size:14px;"><Context>
<!-- Default set of monitored resources -->
<WatchedResource>WEB-INF/web.xml</WatchedResource>
<!-- Uncomment this to disable session persistence across Tomcat restarts -->
<!--
<Manager pathname="" />
-->
<!-- Uncomment this to enable Comet connection tacking (provides events
on session expiration as well as webapp lifecycle) -->
<!--
<Valve className="org.apache.catalina.valves.CometConnectionManagerValve" />
-->
<Valve className="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve" />
<Manager className="com.orangefunction.tomcat.redissessions.RedisSessionManager"
host="10.10.49.20"
port="6379"
database="0"
maxInactiveInterval="60" />
</Context></span>
在tomcat/webapps/test放一个index.jsp
[html] view plain copy print ?
1. <%@ page language="java" %>
2. <html>
3. <head><title>TomcatA</title></head>
4. <body>
5.
6. <table align="centre" border="1">
7. <tr>
8. <td>Session ID</td>
9. <td><%= session.getId() %></td>
10. </tr>
11. <tr>
12. <td>Created on</td>
13. <td><%= session.getCreationTime() %></td>
14. </tr>
15. </table>
16. </body>
17. </html>
18. sessionID:<%=session.getId()%>
19. <br>
20. SessionIP:<%=request.getServerName()%>
21. <br>
22. SessionPort:<%=request.getServerPort()%>
23. <%
24. //为了区分,第二个可以是222
25. out.println("This is Tomcat Server 1111");
26. %>
<span style="font-size:14px;"><%@ page language="java" %>
<html>
<head><title>TomcatA</title></head>
<body>
<table align="centre" border="1">
<tr>
<td>Session ID</td>
<td><%= session.getId() %></td>
</tr>
<tr>
<td>Created on</td>
<td><%= session.getCreationTime() %></td>
</tr>
</table>
</body>
</html>
sessionID:<%=session.getId()%>
<br>
SessionIP:<%=request.getServerName()%>
<br>
SessionPort:<%=request.getServerPort()%>
<%
//为了区分,第二个可以是222
out.println("This is Tomcat Server 1111");
%> </span>
启动tomcat,发现有异常:com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve 类找不到
分别打开三个jar包,确实没有这个类,解决可以参考:
通过访问http://10.10.49.20/test/
刷新:
可以看到虽然Server从1111变为2222,但session的创建时间没有变化,这就完成了session共享。