正向代理,意思是一个位于客户端和原始服务器(origin server)之间的服务器,为了从原始服务器取得内容,客户端向代理发送一个请求并指定目标(原始服务器),然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端才能使用正向代理。从某种意义上说,“客户端和正向代理服务器像是位于同一个局域网”。正向代理服务器的主要目的是缓存数据来响应客户端的 HTTP 请求,一般都会进行用户访问控制,使用时需要在浏览器中进行 IP 和端口设置。正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。正向代理还可以使用缓冲特性(由mod_cache提供)减少网络使用率。
功能:
1.共享网络
2.加快访问速度,节约通信带宽
3.防止内部主机受到攻击
4.限制用户访问,完善网络管理
服务名:squid
主程序:/usr/sbin/squid
配置目录:/etc/squid
主配置文件:/etc/squid/squid.conf
监听tcp端口号:3128
默认访问日志文件:/var/log/squid/access.log
squid的安装
在安装squid之前,应先检查系统是否已安装过squid,rpm -qa |grep squid,如果系统默认安装过squid,也应该先删除,安装最新的源代码包,因为开源软件会不断修正问题、提供更新的功能, 使用最新版本可以保证最高的性能及安全,而且源代码方式可以完全定制系统。
安装squid有两种方法,使用yum安装,和编译安装,本人认为还是编译安装比较实用,可以定义安装的路径和相应的参数。当然各有所长了。
在这里介绍编译安装:
1.下载squid包到/usr/local/src,可以到squid官网下载http://www.squid-cache.org/,我这里下载的是3.5版本的。
wget http://www.squid-cache.org/Versions/v3/3.5/squid-3.5.20.tar.bz2
2.解压包
tar jxvf squid-3.5.20.tar.bz2
3.进入相应目录,并编译安装
cd /usr/local/src/squid-3.5.20
整个配置编译过程如下:
./configure --prefix=/var/squid
--sysconfdir=/etc
--enable-arp-acl
--enable-linux-netfilter
--enable-pthreads
--enable-err-language="Simplify_Chinese"
--enable-storeio=ufs,null
--enable-default-err-language="Simplify_Chinese"
--enable-auth="basic"
--enable-baisc-auth-helpers="NCSA"
--enable-underscore
编译安装详解
配置命令configure有很多选项,如果不清楚可先用“-help”查看。通常情况下,用到的选项有以下几个:
--prefix=/web/squid
#指定Squid的安装位置,如果只指定这一选项,那么该目录下会有bin、sbin、man、conf等目录,而主要的配置文件此时在conf子目录中。为便于管理,最好用参数--sysconfdir=/etc把这个文件位置配置为/etc。
--enable-storeio=ufs,null
#使用的文件系统通常是默认的ufs,不过如果想要做一个不缓存任何文件的代理服
务器,就需要加上null文件系统。
--enable-arp-acl
#这样可以在规则设置中直接通过客户端的MAC地址进行管理,防止客户使用IP欺骗。
--enable-err-languages="Simplify_Chinese"
--enable-default-err-languages="Simplify_Chinese"
#上面两个选项告诉Squid编入并使用简体中文错误信息。
--enable-linux-netfilter
#允许使用Linux的透明代理功能。
--enable-underscore
#允许解析的URL中出现下划线,因为默认情况下Squid会认为带下划线的URL是
非法的,并拒绝访问该地址。
4.编译安装
make
make install
5.检查安装是否正确
echi $?
6.编辑配置文件
vim /var/squid
http_port 192.168.0.1:3128
默认端口是3128,当然也可以是任何其它端口,只要不与其它服务发生冲突即可。为了安全起见,在前面加上IP地址,Squid就不会监听外部的网络接口。
下面的配置选项是服务器管理者的电子邮件,当错误发生时,该地址会显示在错误页面上,便于用户联系:
cache_mgr start@soocol.com
以下这些参数告诉Squid缓存的文件系统、位置和缓存策略:
cache_dir ufs /var/squid
cache_mem 32MB
cache_swap_low 90
cache_swap_high 95
在这里,Squid会将/var/squid目录作为保存缓存数据的目录,每次处理的缓存大小是32兆字节,当缓存空间使用达到95%时,新 的内容将取代旧的而不直接添加到目录中,直到空间又下降到90%才停止这一活动。如果不想Squid缓存任何文件,如某些存储空间有限的专有系统,可以使 用null文件系统(这样不需要那些缓存策略):
cache_dir null /tmp
下面的几个关于缓存的策略配置中,较主要的是第一行,即用户的访问记录,可以通过分析它来了解所有用户访问的详尽地址:
cache_access_log /var/squid/access.log
cache_log /var/squid/cache.log
cache_store_log /var/squid/store.log
下面这行配置是在较新版本中出现的参数,告诉Squid在错误页面中显示的服务器名称:
visible_hostname No1.proxy
以下配置告诉Squid如何处理用户,对每个请求的IP地址作为单独地址处理:
client_mask 255.255.255.255
如果是普通代理服务器,以上的配置已经足够。但是很多Squid都被用来做透明代理。所谓透明代理,就是客户端不知道有代理服务器的存在,当然也不需要进行任何与代理有关的设置,从而大大方便了系统管理员。相关的选项有以下几个:
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_user_host_header on
在Linux上,可以用iptables/ipchains直接将对Web端口80的请求直接转发到Squid端口3128,由Squid接手,而用户浏览器仍然认为它访问的是对方的80端口。例如以下这条命令:
iptables -t nat -A PREROUTING -s 192.168.0.200/32 -p tcp --dport 80 -j REDIRECT 3128
就是将192.168.0.200的所有针对80端口的访问重定向到3128端口。
所有设置完成后,关键且重要的任务是访问控制。Squid支持的管理方式很多,使用起来也非常简单(这也是有人宁愿使用不做任何缓存的 Squid,也不愿意单独使用iptables的原因)。Squid可以通过IP地址、主机名、MAC地址、用户/密码认证等识别用户,也可以通过域名、 域后缀、文件类型、IP地址、端口、URL匹配等控制用户的访问,还可以使用时间区间对用户进行管理,所以访问控制是Squid配置中的重点。Squid 用ACL(Access Control List,访问控制列表)对访问类型进行划分,用http_access deny 或allow进行控制。根据需求首先定义两组用户advance和normal,还有代表所有未指明的用户组all及不允许上网的baduser,配置代码如下:
acl advance 192.168.0.2-192.168.0.10/32
acl normal src 192.168.0.11-192.168.0.200/32
acl baduser src 192.168.0.100/32
acl baddst dst www.soocol.com
acl all src 0.0.0.0/0
http_access deny baduser
http_access allow advance
http_access allow normal
可以看出,ACL的基本格式如下:
acl 列表名称 控制方式 控制目标
比如acl all src 0.0.0.0/0,其名称是all,控制方式是src源IP地址,控制目标是0.0.0.0/0的IP地址,即所有未定义的用户。出于安全考虑,总是在最后禁止这个列表。
下面这个列表代表高级用户,包括IP地址从192.168.0.2到192.168.0.10的所有计算机:
acl advance 192.168.0.2-192.168.0.20/32
下面这个baduser列表只包含一台计算机,其IP地址是192.168.0.100:
acl baduser 192.168.0.100/32
ACL写完后,接下来要对它们分别进行管理,代码如下:
http_access deny baduser
http_access allow advance
http_access allow normal 上面几行代码告诉Squid不允许baduser组访问Internet,但advance、normal组允许(此时还没有指定详细的权 限)。由于Squid是按照顺序读取规则,会首先禁止baduser,然后允许normal。如果将两条规则顺序颠倒,由于baduser在normal 范围中,Squid先允许了所有的normal,那么再禁止baduser就不会起作用。
特别要注意的是,Squid将使用allow-deny-allow-deny……这样的顺序套用规则。例如,当一个用户访问代理服务器 时,Squid会顺序测试Squid中定义的所有规则列表,当所有规则都不匹配时,Squid会使用与最后一条相反的规则。就像上面这个例子,假设有一个 用户的IP地址是192.168.0.201,他试图通过这台代理服务器访问Internet,会发生什么情况呢?我们会发现,他能够正常访问,因为 Squid找遍所有访问列表也没有和192.168.0.201有关的定义,便开始应用规则,而最后一条是deny,那么Squid默认的下一条处理规则 是allow,所以192.168.0.201反而能够访问Internet了,这显然不是我们希望的。所以在所有squid.conf中,最后一条规则 永远是http_access deny all,而all就是前面定义的“src 0.0.0.0”。 高级控制
前面说过,Squid的控制功能非常强大,只要理解Squid的行为方式,基本上就能够满足所有的控制要求。下面就一步一步来了解Squid是如何进行控制管理的。
通过IP地址来识别用户很不可靠,比IP地址更好的是网卡的MAC物理地址。要在Squid中使用MAC地址识别,必须在编译时加上“--enable-arp-acl”选项,然后可以通过以下的语句来识别用户:
acl advance arp 00:01:02:1f:2c:3e 00:01:02:3c:1a:8b ...
它直接使用用户的MAC地址,而MAC地址一般是不易修改的,即使有普通用户将自己的IP地址改为高级用户也无法通过,所以这种方式比IP地址可靠得多。
假如不想让用户访问某个网站应该怎么做呢?可以分为两种情况:一种是不允许访问某个站点的某个主机,比如ok的主机是ok.sina.com.cn,而其它的新浪资源却是允许访问的,那么ACL可以这样写:
acl sinapage dstdomain ok.sina.com.cn
... ...
http_access deny ok
由此可以看到,除了ok,其它如www.sina.com.cn、news.sina.com.cn都可以正常访问。
另一种情况是整个网站都不许访问,那么只需要写出这个网站共有的域名即可,配置如下:
acl qq dstdomain .tcccent.com.cn
注意tcccent前面的“.”,正是它指出以此域名结尾的所有主机都不可访问,否则就只有tcccent.com.cn这一台主机不能访问。
如果想禁止对某个IP地址的访问,如202.118.2.182,可以用dst来控制,代码如下:
acl badaddr dst 202.118.2.182
当然,这个dst也可以是域名,由Squid查询DNS服务器将其转换为IP。
还有一种比较广泛的控制是文件类型。如果不希望普通用户通过代理服务器下载MP3、AVI等文件,完全可以对他们进行限制,代码如下:
acl mmxfile urlpath_regex \.mp3$ \.avi$ \.exe$
http_access deny mmxfile
看到regex,很多读者应该心领神会,因为这条语句使用了标准的规则表达式(又叫正则表达式)。它将匹配所有以.mp3、.avi等结尾的URL请求,还可以用-i参数忽略大小写,例如以下代码:
acl mmxfile urlpath_regex -i \.mp3$
这样,无论是.mp3还是.MP3都会被拒绝。当然,-i参数适用于任何可能需要区分大小写的地方,如前面的域名控制。
如果想让普通用户只在上班时间可以上网,而且是每周的工作日,用Squid应当如何处理呢?看看下面的ACL定义:
acl worktime time MTWHF 8:30-12:00 14:00-18:00
http_access deny !worktime
首先定义允许上网的时间是每周工作日(星期一至星期五)的上午和下午的固定时段,然后用http_access 定义所有不在这个时间段内的请求都是不允许的。
或者为了保证高级用户的带宽,希望每个用户的并发连接不能太多,以免影响他人,也可以通过Squid控制,代码如下:
acl conncount maxconn 3
http_access deny conncount normal
http_access allow normal
这样,普通用户在某个固定时刻只能同时发起三个连接,从第四个开始,连接将被拒绝。
总之,Squid的ACL配置非常灵活、强大,更多的控制方式可以参考squid.conf.default。
认证
用户/密码认证为Squid管理提供了更多便利,最常用的认证方式是NCSA。从Squid 2.5版本开始,NCSA认证包含在了basic中,而非以前单独的认证模块。下面来看看实现认证的具体操作。
首先在编译时配置选项应包括以下配置:
--enable-auth="basic" --enable-basic-auth-helpers="NCSA"
“make install”以后,需要将“helpers/basic_auth/NCSA/ncsa_auth”拷贝到用户可执行目录 中,如/usr/bin(如果在该目录中找不到这个执行文件,在编译时请使用make all而不是make,或者直接在该目录中执行make),然后需 要借助Apache的密码管理程序htpasswd来生成用户名/密码对应的文件,就像下面这行代码:
htpasswd -c /var/squid/etc/password guest
在输入两遍guest用户的密码后,一个guest用户就生成了。如果以后需要添加用户,把上面的命令去掉-c参数再运行即可。
Squid 2.5在认证处理上有了较大的改变,这里就只讨论2.5版本的处理方法,2.4及以下版本请参考squid.conf.default。在2.5版的squid.conf中,包括以下几个相关选项:
#该选项指出了认证方式(basic)、需要的程序(ncsa_auth)和
对应的密码文件(password)
auth_param basic program /usr/bin/ncsa_auth /var/squid/etc/password
# 指定认证程序的进程数
auth_param basic children 5
# 浏览器显示输入用户/密码对话框时的领域内容
auth_param basic realm My Proxy Caching Domain
# 基本的认证有效时间
auth_param basic credentialsttl 2 hours
# 普通用户需要通过认证才能访问Internet
acl normal proxy_auth REQUIRED
http_access allow normal
通过以上的配置即可完成认证工作。有的读者可能要问:认证只针对普通用户,而高级用户是直接上网的,该怎么处理呢?其实,这两种用户是可以共 存的。如前所述,Squid是顺序处理http_access的,所以在http_access处理过程中,如果先处理normal用户,那么当前用户无 论是否属于高级用户,都会被要求进行认证;相反如果先处理高级用户,剩下的就只有需要认证的普通用户了。例如以下配置代码:
http_access allow normal (需要认证)
http_access allow advance (不需要认证)
不管是否为noauth用户,都要求进行用户名/密码验证。正确的方法是将二者位置交换,代码如下:
http_access allow advance
http_access allow normal
这时,高级用户不会受到任何影响。
下面把整个squid.conf总结一下:
# 服务器配置
http_port 192.168.0.1:3128
cache_mgr start@soocol.com
cache_dir null /tmp
cache_access_log /var/squid/access.log
cache_log /var/squid/cache.log
cache_store_log /var/squid/store.log
visible_hostname No1.proxy
client_mask 255.255.255.255
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_user_host_header on
# 用户分类
acl advance arp 00:01:02:1f:2c:3e 00:01:02:3c:1a:8b ...
acl normal proxy_auth REQUIED
acl all src 0.0.0.0
# 行为分类
acl mmxfile urlpath_regex \.mp3$ \.avi$ \.exe$
acl conncount maxconn 3
acl worktime time MTWHF 8:30-12:00 14:00-18:00
acl sinapage dstdomain ok.sina.com.cn
acl qq dstdomain .tcccent.com.cn
# 处理
http_access allow advance
http_access deny conncount normal
http_access deny !worktime
http_access deny mmxfile
http_access deny sinapage
http_access deny qq
http_access allow normal
配置后的状况是,advance组可以不受任何限制地访问Internet,而normal组则只能在工作时间上网,而且不能下载多媒体文件,不能访问某些特定的站点,而且发送请求不能超过3个。
通过本文的介绍,它可以了解Squid的基本能力。当然,它的能力远不止此,可以建立强大的代理服务器阵列,可以帮助本地的Web服务器提高性能,可以提高本地网络的安全性等。要想发挥它的功效,还需要进一步控制。
squid常用配置选项
/etc/squid/squid.conf
http_port 3128 (还可以只监听一个IP http_port 192.168.0.1:3128)
cache_mem 64MB #缓存占内存大小
maximum_object_size 4096KB #最大缓存块
reply_body_max_size 1024000 allow all #限定下载文件大小
access_log /var/log/squid/access.log #访问日志存放的地方
visible_hostname proxy.test.xom #可见的主机名
cache_dir ufs /var/spool/squid 100 16 256
#ufs:缓存数据的存储格式
#/var/spool/squid 缓存目录
#100:缓存目录占磁盘空间大小(M)
#16:缓存空间一级子目录个数
#256:缓存空间二级子目录个数
cache_mgr webmaster@test.com #定义管理员邮箱
http_access deny all #访问控制
squid安装
1.安装可以使用yum -y install squid或者下载源码包安装都可以。
yum install -y squid
2.squid主配置文件是/etc/squid/squid.conf ,最基本配置如下:
http_port 3128 设置监听的端口和ip
cache_mem 64 MB 设置内存缓冲的大小
cache_dir ufs /var/spool/squid 100 16 256 设置硬盘缓冲大小
cache_dffective_usersquid 设置缓存的有效用户
cache_effective_groupsquid 设置缓存的有效用户组
dns_nameservers 192.168.0.253 设置dns服务器地址,一般可以不设置
cache_access_log /var/log/squid/access.log 设置访问日志文件
cache_log /var/log/squid/cache.log 设置缓存日志文件
cache_store_log /var/log/squid/cache.log 设置缓存日志文件
visible_hostname bob 设置squid主机名称
cache_mgr 123@126.com 设置管理员邮箱
acl all src 0.0.0.0/24 设置访问控制列表
http_access allow all 设置访问权限
默认搭建好的squid是允许访问所有的站点的,例如限制
acl http proto HTTP
acl good dstdomain .baidu.com .qq.com
http_access deny good
缓存数据的类型
refresh_pattern \.(jpg|png|fig|js|css|mp3|mp4) 1440 20% 2800 ignore-reload
设置允许那些ip可以使用proxy
acl inside src 192.168.1.0/24
http_access allow inside
http_access deny all
在定义多个网站的时候,可以定义在一个文档里
acl allsite dstdomain "/etc/squid/allowsite.txt"
http_access allow allsite
http_access deny !allsite
进入/etc/squid目录下创建allsite文本
touch allsite
吧允许访问的网站写入到该文本即可
如:
.baidu.com
.qq.com
同样也可以对ip限制
acl sdIP src "/etc/squid/sdIP.txt"
vim /etc/squid/sdIP.txt 添加ip,每行写一个ip
192.168.1.1
192.168.2.1
http_access allow sdIP allsite #设置单独的ip允许访问单独的站点
设置单独的ip,允许访问某个站点
acl ashleycai src 192.168.1.14/32
acl ashleyip dstdomain .qq.com
http_access allow ashleycai ashleyip
定义ip和定义站点
acl aaip src 192.168.1.1
acl qq dstdomain .qq.com
定义时间段
acl accesstime time 8:00-11:45
acl accesstime time 13:00-22:00
定义特定的文件类型
acl mp3 urlpath_regex -i \.mp3
acl mp4 urlpath_regex -i \.mp4
acl flv urlpath_regex -i \.flv
定义特定的文件类型文件
acl badfile urlpath_regex -i "/etc/squid/badfile.txt"
squid取消错误页面出现的版本信息
vim /etc/squid/squid.conf
启用如下选项:httpd_suppress_version_string on
重新加载squid配置
service squid reload
squid常用命令:
/usr/local/squid/sbin/squid -z 初始化缓存空间
/usr/local/squid/sbin/squid 启动
/usr/local/squid/sbin/squid -k shutdown 停止
/usr/local/squid/sbin/squid -k reconfigure 重新载入配置文件
/usr/local/squid/sbin/squid -k rotate 轮循日志
squid使用用户认证方式:
vim /etc/squid/squid.conf
添加用户认证
#用户认证需要添加
auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/passwd
auth_param basic children 5
auth_param basic credentialsttl 2 hours
auth_param basic realm Example.com's Squid proxy-caching
acl auth_user proxy_auth REQUIRED
http_access allow auth_user
注释:
第一行:选择的认证方式为basic,认证程序路径和密码文件路径。
第二行:认证程序的进程数
第三行:认证有效时间
第四行:认证领域内容,上面定义的web浏览需要输入用户密码
第五,六行:设置允许认证的用户访问
生成密码文件
在第一行中的 /etc/squid/passwd 文件可以使用下面方法生成,在装有apache的机器上运行
htpasswd -c /etc/squid/passwd auth_user
以上的auth_user替换为认证的用户,比如haha
重启服务
service squid restart
参考:
http://blog.chinaunix.net/uid-25266990-id-2722465.html
http://www.cnblogs.com/cherishry/p/5706736.html