iptables直接针对ip进行封禁,在ip数量不大的时候是没什么问题的,但当有大量ip的时候性能会严重下降,iptables是O(N)的性能。而ipset就像一个集合,把需要封闭的ip地址写入这个集合中,ipset 是O(1)的性能,可以有效解决iptables直接封禁大量IP的性能问题。
1. 如果是RedHat/CentOS,首先用yum(Ubuntu/Debian用将yum换为apt-get既可 )安装ipset。
yum install ipset -y
2.ipset创建基于ip hash的集合名称
例如 blacklist表示集合的名字是blacklist
hashsize 4096 表示初始值为4096个,如果满了,这个 hash 会自动扩容为之前的两倍。最大能存储的数量是 maxelem指定的值;hashsize 的默认值是 1024
maxelem 1000000表示最大元素个数为100000 ,ipset默认值为65536
timeout 3600 表示封禁3600s;
iptables开启封禁80,443策略。
ipset create blacklist hash:ip hashsize 4096 maxelem 1000000 timeout 3600
iptables -A INPUT -p tcp -m set --match-set blacklist src -m multiport --dports 443,80 -j DROP
如果我们不希望有过期时间,可以不加timeout这个参数
ipset create blacklist hash:ip
当然,也可以封禁黑名单IP的所有请求。
iptables -A INPUT -m set --match-set blacklist src -j DROP
3.基于自定义访问频率阈值或者请求敏感关键字来创建自动筛选恶意IP的脚本/data/iptables_ipset_deny.sh。
FILES:nginx的access.log文件
sensitive: 敏感关键字
threshold: 一分钟内请求频率阈值
#!/bin/bash
FILES="/data/nginx/logs/access.log"
sensitive="sensitive_word"
threshold=1000
ip_file="/tmp/ip_file"
sensitive_file="/tmp/sensitive_file"
DATE=`date -d '1 minutes ago' +%Y:%H:%M`
grep ${DATE} ${FILES} | awk '{print $1}' | sort | uniq -c | sort -n | tail -n 1 > ${ip_file}
grep ${DATE} ${FILES} | grep -i ${sensitive} | awk '{print $1}' | sort -n | uniq > ${sensitive_file}
ip_file_number=`awk '{print $1}' ${ip_file}`
ip_file_ip=`awk '{print $2}' ${ip_file}`
if [[ $ip_file_number -gt $threshold ]];then
ipset add blacklist ${ip_file_ip} timeout 3600
fi
if [ -s ${sensitive_file} ];then
for sensitive_ip in `cat ${sensitive_file}`
do
ipset add blacklist ${sensitive_ip}
done
fi
4. 用crontab定时启动脚本。
echo "* * * * * bash /data/iptables_ipset_deny.sh" >> /etc/crontab
注意:在自己的实际操作过程中发现,写好的从nginx中分析得到的黑名单ip脚本加入到ipset中;如果是手动执行这个脚本的话,是正常的,如果做成定时任务,就一直没有成功,ipset中没有添加ip;捣鼓了好半天,发现是需要指定ipset这个命令路径在/usr/sbin下面,因此在脚本中加上脚本的完整路径即可,如/usr/sbin/ipset add blacklist x.x.x.x
这里需要了解/usr/sbin和/usr/bin的区别了:/sbin目录下的命令通常只有管理员才可以运行,/bin下的命令管理员和一般的用户都可以使用
ipset 命令
ipset create blacklist hash:ip,port hashsize 4096 maxelem 1000000 timeout 100 #加入集合
ipset del blacklist x.x.x.x # 从 blacklist 集合中删除内容
ipset list blacklist # 查看 blacklist 集合内容
ipset list # 查看所有集合的内容
ipset flush blacklist # 清空 blacklist 集合
ipset flush # 清空所有集合
ipset destroy blacklist # 销毁 blacklist 集合
ipset destroy # 销毁所有集合
如ipset save blacklist > 1.txt # 输出 banip 集合内容到1.txt
ipset save > 1.txt # 输出所有集合内容到1.txt
ipset save blacklist # 输出 blacklist 集合内容到标准输出
ipset save # 输出所有集合内容到标准输出
ipset restore # 根据输入内容恢复集合内容
如 ipset restore <1.txt # 根据1.txt内容恢复集合内容
service ipset save #执行 add,del 这类添删操作后都需要保存
service ipset restart #重启ipset
ipset test blacklist x.x.x.x. #测试x.x.x.x.这个ip是否在blacklist集合中