去年工作中的一个实例,觉得较有意思,由于实例需求较繁琐也不太典型,我只能稍作整理和修改后,和大家分享整个案例的需求以及我写脚本的思路和想法,希望对大家有参考的价值。 大概需求:主站有个js文件记录用户设备和IP信息以及在主页上一些操作和输入信息,这些数据写到nginx日志里。需要每小时去分析一次上个小时日志(Nginx日志每小时做一次切割日志文件名如:click.master.com_access.log-2013102705),提取日志内相关信息按照规定格式写到以时间格式命名的文本并保存到相应目录中。
51CTO博客开发
大家对netstat -a命令很熟悉吧,但是,你有没有注意到STATE一栏呢,基本上显示着established,time_wait,close_wait等,这些到底是什么意思呢,在这篇文章,我将会详细的阐述。大家很明白TCP初始化连接三次握手吧:发SYN包,然后返回SYN/ACK包,再发ACK包,连接正式建立。如下图:但是大家明白关闭连接的工作原理吗?关闭连接要四次握手:发FIN包,ACK 包,
有一天某时段一个频道的CDN流量猛增几百兆,分析CDN日志查看是哪个URL使用的流量最多。输出格式为:URL:访问地址 count:这URL访问次数 flow:总的流量M 。实现思路为:把日志每条记录split url为key,流量为value保存到词典中。排序后输出。 提示:频道日志约为8G,我机器才4G内存,用了readlines方法,处理
缘由和需求大概描述是这样,有个提供接口服务老站点A要下线,但还有站点B还在调用这个接口,要切换到新接口,由于站点B历史悠久估计有10年时间,经很多人手站点代码和文件有5.4G大小内有很多目录文件。现在要站点B内所有目录下所有'*.php' 文件内接口url为"http://xx.xxxx.com/outer/Interface.php?w=$word&n=$nu
工作需要检查线上所有服务器的ngxin是否都添加禁止访问目录中带/.svn/和以tar.gz、tar、zip、等结尾url,如果没有则添加,由于线上nginx服务器将近100台,每台的nginx配置10几个,手工检查太慢了,本人也不想浪费太多时间做这些无用功。故用python写了一个检测脚本。来完成这些无聊事情。
#!/bin/bash #检测"API_NetDemo"进程运行时间超过10分钟就kill掉 #PS:是程序运行时间(即进程启动到现在的时间),不是占用cpu的时间 #Author by Qfeian function check_time() { time_subroutine=$(getconf CLK_TCK) start_time=$(awk
一个shell脚本,检测特定的程序,如果进程花费CPU运行的时间超过30分钟,就kill掉进程。脚本思路和写法相对简单,希望能起到抛砖引玉的作用。#!/bin/bash #author by Qfeian #Process name NAME="sendmail" for PID in `ps -A | grep "$NAME"|awk '{split($3,tab,/
默默关注了51CTO博客5年多了,第一次在51上写博客,争取以后每两周写一遍原创的技术博文和大家交流分享,此贴为证!
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号