去年工作中的一个实例，觉得较有意思，由于实例需求较繁琐也不太典型，我只能稍作整理和修改后，和大家分享整个案例的需求以及我写脚本的思路和想法，希望对大家有参考的价值。 大概需求：主站有个js文件记录用户设备和IP信息以及在主页上一些操作和输入信息，这些数据写到nginx日志里。需要每小时去分析一次上个小时日志（Nginx日志每小时做一次切割日志文件名如：click.master.com_access.log-2013102705），提取日志内相关信息按照规定格式写到以时间格式命名的文本并保存到相应目录中。
有一天某时段一个频道的CDN流量猛增几百兆，分析CDN日志查看是哪个URL使用的流量最多。输出格式为：URL：访问地址 count:这URL访问次数 flow:总的流量M 。实现思路为：把日志每条记录split url为key,流量为value保存到词典中。排序后输出。 提示：频道日志约为8G，我机器才4G内存，用了readlines方法，处理
缘由和需求大概描述是这样，有个提供接口服务老站点A要下线，但还有站点B还在调用这个接口，要切换到新接口，由于站点B历史悠久估计有10年时间，经很多人手站点代码和文件有5.4G大小内有很多目录文件。现在要站点B内所有目录下所有'*.php' 文件内接口url为"http://xx.xxxx.com/outer/Interface.php?w=$word&n=$nu
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
