线上前端nginx服务用来做后端图片服务的缓存代理服务器,但后端图片服务器在对用户上传的图片进行处理以后,有时会出现图片无法显示等问题,当出现这种情况的时候,该图片,我们就不希望被nginx缓存,如果被缓存,则要被清除。
分别用两种不同的脚本方案来解决:
1.通过过滤日志中状态码正常(即200)及图片大小小于100字节的url路径去查找缓存路径,进而清除缓存,脚本如下:
#!/bin/bash
cache_path=/home/nginx/proxy_cache_dir
logfile=/home/nginx/logs/access.log
datetime=`date +%d/%b/%Y`
logdir=/home/nginx/logs
#查找出所有当天nginx日志中状态码为200,大小小于100字节且被缓存命中的url,并将其保存至url.list
grep "$datetime" $logfile | awk '{if($9 == 200 && $10 < 100 && $NF ~ "HIT") print $7}' | sort -n | uniq > url.list
for i in `cat url.list`
do
       #根据nginx日志中过滤的url查找缓存目录,对缓存中的url作处理后,保存到cache.list文件中
       grep -a -r "$i" $cache_path| strings |grep "KEY: " | awk -F'KEY: ' '{print "http://"$2;}' | grep [a-zA-Z0-9]$  > cache.list
       #再次对url进行处理
       sed -i "s#1img.looklook.cn/#1img.looklook.cn:7086/purge/#"  cache.list
       #清除缓存
       for url in `cat cache_list.txt`
       do
               curl "$url" | tee -a $logdir/purgelog/$(date +%y%m%d).log
       done
done


2.将nginx日志复制为一个副本,然后通过新的nginx日志跟副本的比较,对变化的一部分直接做awk处理
#!/bin/bash
F=/home/nginx/logs/access.log
O=/home/nginx/logs/old.log
if [ ! -f $O ]
then
cp $F $O
exit 3
fi
diff $F $O | \
awk '{if($10 ==200 && $11< 100 && $NF ~ "HIT") print "http://1img.looklook.cn:7086/purge"$8}' | sort | uniq | \
awk '{system("curl \""$1"\"|tee -a /home/nginx/logs/purgelog/$(date +%y%m%d).log")}'
cat $F > $O