CDN简介
CDN(Content Delivery Network)是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需 内容,降低网络拥塞,提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。
CDN的基本原理是广泛采用各种缓存服务器,将这些缓存服务器分布到用户访问相对集中的地区或网络中,在用户访问网站时,利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上,由缓存服务器直接响应用户请求。
搭建CDN系统可以选择3种主流方案:
1. squid 2. varnish 3. Nginx+memcache
Varnish简介
Varnish是一款高性能的开源HTTP加速器,开源的反向代理服务器和缓存服务器,挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid,性能比以前更好
网站的基本访问方式
如果varnish上面没有缓存
client -> /hosts/dns -> varnish -> 服务器-> varnish -> client
如果varnish上面有缓存
client -> /hosts/dns -> varnish -> client
实验环境
主机名 | IP | 服务 |
server1 | 172.25.1.1 | Varnish |
server2 | 172.25.1.2 | Apache |
server3 | 172.25.1.3 | Apache |
foundation1 | 172.25.1.250 | Client |
varnish的安装与配置
varnish下载地址:http://varnish-cache.org/releases/
yum install -y varnish-libs-3.0.5-1.el6.x86_64.rpm varnish-3.0.5-1.el6.x86_64.rpm
#安装varnish
[root@server1 varnish]# sysctl -a |grep file #查看虚拟机最大打开文件数
fs.file-nr = 480 0 98861
fs.file-max = 98861
修改安全限制文件,保证流量大时,服务可以正常运行
打开文件的最大数,有如下关系:
内核操作> 操作系统> 软件
vim /etc/sysconfig/varnish #修改
# Maximum number of open files (for ulimit -n)
NFILES=98861
# Locked shared memory (for ulimit -l)
# Default log size is 82MB + header
MEMLOCK=82000
# Maximum number of threads (for ulimit -u)
NPROCS="unlimited"
vim /etc/security/limits.conf
#指定varnish用户可以使用的资源限制
51 varnish - nofile 98861
52 varnish - memlock 82000
53 varnish - nproc unlimited
修改varnish的端口
vim /etc/sysconfig/varnish
66 VARNISH_LISTEN_PORT=80
#修改varnish的默认端口为80
varnish的配置文件
基本配置文件:/etc/varnish/default.vcl
脚本配置文件:/etc/sysconfig/varnish 用于指定配置参数,可以修改缓存保存时间,大小等
开启服务
[root@server1 ~]# /etc/init.d/varnish start
[root@server1 ~]# netstat -antlp
缓存配置
在server1中配置varnish
vim /etc/varnish/default.vcl
backend default {
.host = "172.25.1.2"; #添加http服务端ip
.port = "80";
}
/etc/init.d/varnish reload ##重新加载
[root@foundation1 ~]# curl 172.25.1.1
www.redhat.com server2
通过客户端访问server1的ip会得到server2的发布页面,因为在server1中缓存的server2的发布页面
修改缓存命中提示语
vim /etc/varnish/default.vcl
7 backend default {
8 .host = "172.25.1.2";
9 .port = "80";
10 }
11
12 sub vcl_deliver {
13 if (obj.hits > 0) {
14 set resp.http.X-Cache = "HIT from redhat cache";
15 }
16 else {
17 set resp.http.X-Cache = "MISS from redhat cache";
18 }
19 return (deliver);
20 }
/etc/init.d/varnish reload
通过 varnishadm 手动清除缓存
varnishadm ban.url .*$ ##清除所有
varnishadm ban.url /index.html ##清除 index.html 页面缓存
varnishadm ban.url /admin/$ ##清除 admin 目录缓存
varnish实现负载均衡
(负载均衡可以减轻主服务器的压力)
backend web1 {
.host = "172.25.1.2";
.port = "80";
}
backend web2 {
.host = "172.25.1.3";
.port = "80";
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from redhat cache";
}
else {
set resp.http.X-Cache = "MISS from redhat cache";
}
return (deliver);
}
#varlish 负载均衡
# lb 轮询机制配置
director redhat round-robin {
{ .backend = web1; }
{ .backend = web2; }
}
sub vcl_recv {
if (req.http.host ~ "^(www.)?redhat.com") {
set req.http.host = "www.redhat.com";
set req.backend = redhat; #修改接收为redhat,在轮询机制处有定义
return(pass); #为了测试方便,不进行缓存
} elsif (req.http.host ~ "^www.linux.com") {
set req.backend = web2;
} else {error 404 "redhat cache";
}
}
[root@server1 ~]# /etc/init.d/varnish reload ##重新加载配置文件
通过在客户端访问www.redhat.com,如果访问页不同,页面会在web1和web2中来回切换
此实验可以通过apache的虚拟主机来辅助测试
关于apache的虚拟主机设置参考
vim /etc/httpd/conf/httpd.conf
990 NameVirtualHost *:80
1010 <VirtualHost *:80>
1011 ServerName www.linux.com
1012 DocumentRoot /var/www/html
1013 </VirtualHost>
1014 <VirtualHost *:80>
1015 ServerName www.redhat.com
1016 DocumentRoot /www
1017 </VirtualHost>
/etc/init.d/httpd restart
搭建CDN推送平台
在varnish中,当web服务器更新了发布页面以后,varnish服务器中的缓存信息不会立即变化,客户还是会通过访问varnish服务器中旧的信息,所以需要我们去推送信息页面,将varnish中的指定缓存清理,让varnish去重新缓存发布页面
1.server1中安装httpd
[root@server1 ~]# yum install httpd php -y
2.修改httpd的默认端口为8080
因为varnish已经占用了80端口,所以修改httpd的端口为8080
vim /etc/httpd/conf/httpd.conf
Listen 8080
3.下载bansys安装包
http://code.google.com/p/varnish-php-bansys/
unzip -x bansys.zip
mv * /var/www/html/ #将解压文件移动到默认发布目录
yum install -y php
[root@server1 html]# cd /var/www/html
[root@server1 html]# ls
class_socket.php config.php index.php purge_action.php static
[root@server1 html]# vim config.php #修改推送服务配置
<?php
$var_group1 = array(
'host' => array('172.25.1.1'),
'port' => '80',
);
//varnish群组定义
//对主机列表进行绑定
$VAR_CLUSTER = array(
'www.redhat.com' => $var_group1,
);
//varnish版本
//2.x和3.x推送命令不一样
$VAR_VERSION = "3";
?>
[root@server1 html]# /etc/init.d/httpd start
浏览器访问
bansys 有两种工作模式,分别是:telnet 和 http 模式
【1】telnet 模式需要关闭 varnish 服务管理端口的验证,注释掉/etc/sysconfig/varnish 文件中的 “ -S $
{VARNISH_SECRET_FILE}”这行,重启 varnish 服务即可。
【2】 如果是 http 模式需要对 varnish 做以下设置:
[root@server1 varnish]# vim /etc/varnish/default.vcl
acl redhat { #访问白名单
"127.0.0.1";
"172.25.1.0"/24;
}
backend default {
.host = "172.25.1.2";
.port = "80";
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from redhat cache";
}
else {
set resp.http.X-Cache = "MISS from redhat cache";
}
return (deliver);
}
sub vcl_recv {
if (req.request == "BAN") { #添加推送代码
if (!client.ip ~ redhat) { # 如果客户端的IP不是redhat
error 405 "Not allowed.";
}
ban("req.url ~ " + req.url);
error 200 "ban added";
}
}
测试