Nginx+Tomcat+Memcached负载均衡集群服务搭建

1.1安装gcc、gcc-c++

安装命令:

# sudo yum install gcc

# sudo yum install gcc-c++

 

1.2安装openssl

安装命令:

# tar -zxvf openssl-1.0.1i.tar.gz

# cd openssl-1.0.1i

# sudo ./config --prefix=/usr/local/openssl-1.0.1i    #prefix指定安装目录

# sudo make

# sudo make install

【注意】:此处使用的是config命令,而不是平常的configure命令

安装完成后,到/usr/local/下查看是否安装成功。如果安装出错,需要重新加压缩,重新安装。

 

1.3安装pcre

安装命令:

# tar -zxvf pcre-8.35.tar.gz

# cd pcre-8.35

# sudo ./configure --prefix=/usr/local/pcre-8.35    #prefix指定安装目录

# sudo make

# sudo make install

【注意】:如果没有安装c++编译器,这个软件的安装会报错!

 

1.4安装zlib

安装命令:

# tar -zxvf zlib-1.2.8.tar.gz

# cd zlib-1.2.8

# sudo ./configure --prefix=/usr/local/zlib-1.2.8    #prefix指定安装目录

# sudo make

# sudo make install

 

1.5安装Nginx

安装版本:nginx-1.6.1.tar.gz

安装命令:

# tar -zxvf nginx-1.6.1.tar.gz

# cd nginx-1.6.1

# sudo ./configure

--prefix=/usr/local/nginx-1.6.1                #prefix指定安装目录

--with-openssl=/home/zht/src/openssl-1.0.1i     #指的是openssl源码路径

--with-pcre=/home/zht/src/pcre-8.3.5           #指的是pcre的源码路径

--with-zlib=/home/zht/src/zlib-1.2.8            #指的是zlib 的源码路径

--with-http_ssl_module

# sudo make

# make install

 

1.5.1 配置Nginx

配置文件目录:/usr/local/nginx-1.6.1/conf/nginx.conf

# cd /usr/local/nginx-1.6.1/conf

# sudo vi nginx.conf

 

【修改后的配置文件如下】:

#创建进程的用户和用户组

#user        nobody;

#服务进程数量,一般等于CPU数量

worker_processes  1;

 

#全局错误日志定义,建议开启error级别日志.[ debug | info | notice | warn | error | crit ]

error_log  logs/error.log error;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

 

#记录进程ID的文件

#pid        logs/nginx.pid;

 

 

events {

是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能.Linux建议使用epoll,FreeBSD建议使用kqueue.

    use epoll;

一个worker_processe允许的最近并发连接数量

worker_connections  1024;
}
 
 
http {
    include       mime.types;
    default_type  application/octet-stream;
 
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
 
    #access_log  logs/access.log  main;
 
    sendfile        on;
    #tcp_nopush     on;

 

连接的持续时间

    keepalive_timeout  65;

 

压缩设置

开启gzip

最小压缩文件大小

压缩缓冲区

的协议版本(1.0/1.1),默认1.1,前端如果是squid2.5请使用1.0

    gzip_http_version 1.1;

压缩比,1压缩比最小处理速度最快,9压缩比最大但处理速度最慢(传输快但比较消耗cpu)

    gzip_comp_level 2;    

和http头有关系,加个vary头,给代理服务器用的,有的浏览器支持压缩,有的不支持,所以避免浪费不支持的也压缩,所以根据客户端的HTTP头来判断,是否需要压缩

    gzip_vary on;

压缩类型,不用添加text/html,否则会有警告信息

    gzip_types text/plain text/javascript text/css application/xml application/x-javascript application/json;

 

设定负载均衡的服务器列表,可以设置多个upstream,但mysvr名字要区分

    upstream myClusterServer1 {

参数表示权值,权值越高被分配到的几率越大

本机上的Squid开启3128端口

    

server 127.0.0.1:8081  weight=5;
        server 127.0.0.1:8082  weight=5;
        server 127.0.0.1:8083  weight=5;
    }
 
    server {

监听的端口号

        listen       80;

域名可以有多个,用空格隔开

        server_name  127.0.0.1;

        

字符编码方式

        charset utf-8;

 

设定本虚拟主机的访问日志。关闭日志可以减少IO,提高性能。

        #access_log  logs/host.access.log  main;

 

默认请求

        location / {

定义服务器的默认网站根目录位置

            root   html;

定义首页索引文件的名称

            index  index.html index.htm index.jsp;

请求转向mysvr 定义的服务器列表

            proxy_pass    http://myClusterServer1;

            proxy_redirect default;

跟代理服务器连接的超时时间,必须留意这个time out时间不能超过75秒,当一台服务器当掉时,过10秒转发到另外一台服务器。

        

proxy_connect_timeout 10;
        }
 
        #error_page  404              /404.html;
 
        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
 
        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}
 
        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}
 
        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }
 
 
    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;
 
    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}
 
 
    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;
 
    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;
 
    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;
 
    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;
 
    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}
 
}

1.5.2启动与关闭Nginx

(1)启动

# sudo  /usr/local/nginx-1.6.1/sbin/nginx

确保系统的 80 端口没被其他程序占用

重启:

# sudo  /usr/local/nginx-1.6.1/sbin/nginx  -s  reload

 

(2)关闭:

ps -ef | grep nginx

找到主进程ID,然后kill即可,如:

# kill -9 [进程号]

 

(3)检查是否启动成功:

netstat -ano | grep 80 有结果输入说明启动成功

 

 

2. Memcache安装

本次安装版本:

memcached-1.4.20.tar.gz

libevent-2.0.21-stable.tar.gz

2.1安装livevent

查看是否已安装:# rpm qa | grep libevent

如果已安装且版本低于1.3,则先通过:

# rpm -e libevent --nodeps 进行卸载。

 

# tar zxvf libevent-2.0.21-stable.tar.gz

# cd libevent-2.0.21-stable

# sudo ./configure --prefix=/usr/local/libevent-2.0.21-stable      #prefix指定安装路径

# sudo make

# sudo make install

 

安装完成后,到prefix指定的目录下,看看是否存在libevent-2.0.21-stable目录,如下图所示。

 

 

2.2安装Memcached

# tar zxvf memcached-1.4.20.tar.gz

# cd memcached-1.4.20

# sudo ./configure 

--prefix=/usr/local/memcached-1.4.20

--with-libevent=/usr/local/libevent-2.0.21-stable

# sudo make

# sudo make install

 

2.2.1检查看装情况

安装完成后,到prefix指定的目录下查看是否有memcached-1.4.20目录,如下图所示。

 

 

2.2.2查看memcached和libevent版本信息

首先定位到Memcached的bin目录下:

# cd /usr/local/memcached-1.4.20/bin

执行命令:

# sudo ./memcached -i

 

 

2.2.3启动memcached

# sudo ./memcached -d -v -p 12000 -m 512 -u zht

解释:-d表示以守护进程方式运行memcached;-v表示输出浸膏和错误信息;-p指定监听的端口号;-m指定能使用的最大内存,单位MB;-u指定运行memcached的账户,非root用户。

 

使用# ps -ef | grep memcached查看进程。

 

 

 

关注基本选项:

说明

-p <num>

监听的TCP端口 (缺省: 11211)

-d

以守护进程方式运行memcached

-u <username>

运行memcached的账户,非root用户

-m <num>

最大的内存使用,单位是MB,缺省是 64 MB

-c <num>

软连接数量,缺省是1024(最大并发连接数)

-v

输出警告和错误信息

-vv

打印客户端的请求和返回信息

-h

打印帮助信息

-i

打印memcached和libevent的版权信息

 

2.2.4使用telnet验证服务是否可用

 

# telnet 127.0.0.1 12000

Trying 127.0.0.1...

Connected to localhost (127.0.0.1).

Escape character is '^]'.

 

连接成功后,手动输入命令:stats

即可看到如下信息:

 

手动输入:quit   //退出

Connection closed by foreign host

 

2.2.5停止memcached服务

# ps -ef | grep memcached

找到memcached进程ID号,然后强制杀死:

kill - 9 2439

 

 

3.安装Tomhttcat+配置memcached

3.1安装Tomcat

本次使用Tomcat版本:apache-tomcat-7.0.55.tar.gz

将Tomcat解压到任意目录下。

 

 

3.2为Tomcat配置memcached

3.2.1为Tomcat添加库文件

Tomcat要支持memcached管理Session,需要调用一些jar库文件:

添加mem和msm的依赖jar包:

couchbase-client-1.2.2.jar

javolution-5.4.3.1.jar

kryo-1.03.jar

kryo-serializers-0.10.jar

memcached-session-manager-1.6.5.jar

memcached-session-manager-tc6-1.6.5.jar

minlog-1.2.jar

msm-kryo-serializer-1.6.5.jar

reflectasm-0.9.jar

spymemcached-2.10.2.jar

将这些库文件放到tomcat\lib目录下。

 

3.2.2为Tomcat配置memcached

配置文件目录:tomcat\conf\context.xml

打开配置文件,在<Context>...</Context>节点中添加如下内容:

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
         memcachedNodes="n1:127.0.0.1:12000"
         requestUriIgnorePattern=".*\.(png|gif|jpg|css|js|ico|jpeg|htm|html)$"
sticky="false" 
 lockingMode="auto"
         sessionBackupAsync="false"
         sessionBackupTimeout="100"
         copyCollectionsForSerialization="false"        transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory" />

 

【参数说明】:

docBase:与<Host>中的appBase一致,网站部署目录。

memcachedNodes:memcached服务器信息,多个服务器时,使用空格分开,如:

n1:127.0.0.1:12001  n2:127.0.0.1:12002  n3:127.0.0.1:12003

 

配置文件如下图所示:

注意:启动tomcat前要先启动memcached