python-解析 iis 日志
iis日志分析工具比较多，基本都支持 windows（不夸平台），统计维度也有限。有找工具的时间还不如自己写一个！！！
分析时注意 iis 日志是格林尼治时间，没有加时区。分析时需要加 8 小时！！！
日志是 tvs 类型，字段为：
#Fields: date time s-computername s-ip cs-method cs-uri-stem cs-uri-query cs-username c-ip cs-version cs(User-Agent) cs(Referer) cs-host sc-status sc-bytes time-taken
字段含义及索引：
'''
0 date 日期 2019/12/4
1 time 时间 16:00:00
2 s-computername 服务名 xxxx
3 s-ip 服务器ip 192.xxx.xxx.xxx
4 cs-method 请求模式 GET
5 cs-uri-stem 地址 /qiming/details/y6remloeo6nq.html
6 cs-uri-query 参数 -
7 cs-username 用户名 -
8 c-ip 客户端IP地址 66.249.79.103
9 cs-version 协议版本 HTTP/1.1
10 cs(User-Agent) 用户代理 xxxx
11 cs(Referer) 来源地址 -
12 cs-host 域名 xxx.com
13 sc-status 状态代码 200
14 sc-bytes 发送的字节数 14244
15 time-taken 花费的时间 1390
'''
一、运行脚本
python wwwlogs_analyze.py --input=/Users/wwwlogs/ex191212.log --output=/Downloads/
二、输出的统计信息如下
分析文件 = /Downloads/wwwlogs/ex191205.log
输出文件 = /Downloads/wwwlogs-analize-20191216125217.txt
#汇总 2019-12-16 12:52
#总行数 = 358087
#ip/小时 = 1386
#目录总量 = 228
#请求/小时 = 24
#_isDebug = False
#总小时数=24 峰值 22021 次/时 谷值 9664 次/时
20191205-00 009973 ---------------------------------------------(45%)
20191205-01 010541 -----------------------------------------------(47%)
20191205-02 010193 ----------------------------------------------(46%)
20191205-03 010636 ------------------------------------------------(48%)
20191205-04 010360 -----------------------------------------------(47%)
20191205-05 010527 -----------------------------------------------(47%)
20191205-06 012207 -------------------------------------------------------(55%)
20191205-07 022021 ----------------------------------------------------------------------------------------------------(100%)
20191205-08 018214 ----------------------------------------------------------------------------------(82%)
20191205-09 014415 -----------------------------------------------------------------(65%)
20191205-10 018218 ----------------------------------------------------------------------------------(82%)
20191205-11 018027 ---------------------------------------------------------------------------------(81%)
20191205-12 021611 --------------------------------------------------------------------------------------------------(98%)
20191205-13 017965 ---------------------------------------------------------------------------------(81%)
20191205-14 020541 ---------------------------------------------------------------------------------------------(93%)
20191205-15 017777 --------------------------------------------------------------------------------(80%)
20191205-16 014605 ------------------------------------------------------------------(66%)
20191205-17 018253 ----------------------------------------------------------------------------------(82%)
20191205-18 018113 ----------------------------------------------------------------------------------(82%)
20191205-19 017982 ---------------------------------------------------------------------------------(81%)
20191205-20 015330 ---------------------------------------------------------------------(69%)
20191205-21 010167 ----------------------------------------------(46%)
20191205-22 009664 -------------------------------------------(43%)
20191205-23 010730 ------------------------------------------------(48%)
#目录总量 = 228
347612 /x'x'x/details
001713 /xx/xx/2019/12
000871 /x'x/x'x/elmem
000843 /x'x/x'x/zqwwj
。。。
print top 100 ...
#ip总量 = 1386
66.249.79.103 16859
66.249.79.105 12947
66.249.79.107 12354
66.249.79.109 11170
。。。
print top 100 ...
#带宽汇总 = 24时 2.9GB
#总小时数=24 峰值 298.3 MB/时 谷值 3.45 MB/时
20191205-00 4.47M/分 268.22M/时
20191205-01 4.86M/分 291.45M/时
20191205-02 4.87M/分 292.02M/时
20191205-03 4.76M/分 285.77M/时
20191205-04 4.76M/分 285.88M/时
20191205-05 4.97M/分 298.3M/时
20191205-06 2.97M/分 178.24M/时
20191205-07 0.25M/分 14.75M/时
20191205-08 0.19M/分 11.34M/时
20191205-09 0.08M/分 4.57M/时
20191205-10 0.16M/分 9.3M/时
20191205-11 0.24M/分 14.35M/时
20191205-12 0.43M/分 25.71M/时
20191205-13 0.17M/分 10.09M/时
20191205-14 1.36M/分 81.73M/时
20191205-15 0.07M/分 4.34M/时
20191205-16 0.06M/分 3.45M/时
20191205-17 0.12M/分 7.48M/时
20191205-18 0.26M/分 15.37M/时
20191205-19 0.22M/分 13.12M/时
20191205-20 2.28M/分 136.67M/时
20191205-21 4.18M/分 250.72M/时
20191205-22 4.33M/分 259.88M/时
20191205-23 3.38M/分 202.79M/时
#请求分析-并发 65370 n/a 次
20191205 12:56:17 2590 次/秒 0.09 MB/秒 1099097413 ms/秒
20191205 10:28:39 2085 次/秒 0.05 MB/秒 498004266 ms/秒
20191205 12:09:24 2017 次/秒 0.13 MB/秒 446131901 ms/秒
20191205 08:39:31 1925 次/秒 0.0 MB/秒 625276602 ms/秒
20191205 07:49:23 1899 次/秒 0.09 MB/秒 828558176 ms/秒
20191205 19:15:54 1850 次/秒 0.0 MB/秒 916924419 ms/秒
20191205 20:26:59 1821 次/秒 0.27 MB/秒 453436140 ms/秒
20191205 07:06:09 1807 次/秒 0.06 MB/秒 521245021 ms/秒
20191205 18:03:08 1795 次/秒 0.09 MB/秒 564011590 ms/秒
20191205 17:03:47 1751 次/秒 0.09 MB/秒 358890248 ms/秒
20191205 07:06:07 1648 次/秒 0.0 MB/秒 1034090047 ms/秒
20191205 11:25:26 1598 次/秒 0.09 MB/秒 499285907 ms/秒
20191205 19:15:55 1442 次/秒 0.15 MB/秒 232503865 ms/秒
20191205 15:57:57 1337 次/秒 0.0 MB/秒 638168839 ms/秒
20191205 12:09:23 1321 次/秒 0.0 MB/秒 745523925 ms/秒
20191205 15:57:58 1273 次/秒 0.0 MB/秒 266381110 ms/秒
20191205 13:52:03 1231 次/秒 0.09 MB/秒 344168242 ms/秒
20191205 17:03:46 1210 次/秒 0.0 MB/秒 619886590 ms/秒
20191205 10:28:38 1142 次/秒 0.18 MB/秒 651564257 ms/秒
20191205 13:52:02 1075 次/秒 0.0 MB/秒 563274687 ms/秒
20191205 07:49:24 1028 次/秒 0.19 MB/秒 135449650 ms/秒
。。。。
print top 100 ...
#请求分析-耗时 65370 n/a 次
20191205 12:56:17 2590 次/秒 0.09 MB/秒 耗时 1099097413 ms/秒
20191205 07:06:07 1648 次/秒 0.0 MB/秒 耗时 1034090047 ms/秒
20191205 19:15:54 1850 次/秒 0.0 MB/秒 耗时 916924419 ms/秒
20191205 07:49:23 1899 次/秒 0.09 MB/秒 耗时 828558176 ms/秒
20191205 12:09:23 1321 次/秒 0.0 MB/秒 耗时 745523925 ms/秒
20191205 10:28:38 1142 次/秒 0.18 MB/秒 耗时 651564257 ms/秒
20191205 15:57:57 1337 次/秒 0.0 MB/秒 耗时 638168839 ms/秒
20191205 08:39:31 1925 次/秒 0.0 MB/秒 耗时 625276602 ms/秒
20191205 17:03:46 1210 次/秒 0.0 MB/秒 耗时 619886590 ms/秒
。。。。
print top 100 ...
#请求分析-带宽 65370 n/a 次
20191205 12:09:54 16 次/秒 1.08 MB/秒 耗时 598701 ms/秒
20191205 10:29:08 16 次/秒 1.07 MB/秒 耗时 522417 ms/秒
20191205 19:16:48 15 次/秒 1.0 MB/秒 耗时 687462 ms/秒
20191205 22:31:33 18 次/秒 0.95 MB/秒 耗时 667591 ms/秒
20191205 23:55:41 12 次/秒 0.92 MB/秒 耗时 406580 ms/秒
20191205 11:26:26 22 次/秒 0.91 MB/秒 耗时 1260798 ms/秒
。。。。
print top 100 ...
三、wwwlogs_analyze.py 文件源码
#!/usr/bin/env python2.7
# coding=utf-8
import os
import sys
import argparse
import codecs
import time,datetime
'''
#Software: Microsoft Internet Information Services 7.5
#Version: 1.0
#Date: 2019-12-04 16:00:01
#Fields: date time s-computername s-ip cs-method cs-uri-stem cs-uri-query cs-username c-ip cs-version cs(User-Agent) cs(Referer) cs-host sc-status sc-bytes time-taken
2019-12-04 16:00:00 byw-474802 123.123.123.123 GET /xxx/xxx/xxx.html - - 66.249.79.103 HTTP/1.1 Mozilla/5.0+(Linux;+Android+6.0.1;+Nexus+5X+Build/MMB29P)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/41.0.2272.96+Mobile+Safari/537.36+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) - xxx.com 200 14244 1390
'''
_isDebug = False
_outDir = None
_ipDic = dict()
_dirDic = dict()
_hourDic = dict()
_scBytesByHour = dict() # 服务器发送的字节数（小时）
_reqTimes = dict() # 并发统计（秒）
class reqTimesModel:
times = 0
scBytes = 0
timeTaken = 0
class reqInfo:
dateTime = None
path = ""
ip = ""
refererUrl = ""
userAgent = ""
scStatus = 0
scBytes = 0
timeTaken = 0
'''
0 date 日期 2019/12/4
1 time 时间 16:00:00
2 s-computername 服务名 xxxx
3 s-ip 服务器ip 192.xxx.xxx.xxx
4 cs-method 请求模式 GET
5 cs-uri-stem 地址 /qiming/details/y6remloeo6nq.html
6 cs-uri-query 参数 -
7 cs-username 用户名 -
8 c-ip 客户端IP地址 66.249.79.103
9 cs-version 协议版本 HTTP/1.1
10 cs(User-Agent) 用户代理 xxxx
11 cs(Referer) 来源地址 -
12 cs-host 域名 xxx.com
13 sc-status 状态代码 200
14 sc-bytes 发送的字节数 14244
15 time-taken 花费的时间 1390
'''
def getInfo(row):
arr = row.split(' ')
if len(arr)<16:
print("解析失败\t",len(arr),row)
return
#时间偏移量，iis 时间是 0 时区
hourOffset = datetime.timedelta(hours=8);
# h = timedelta(hours=hour_offset)
timeStruct = time.strptime('{} {}'.format(arr[0],arr[1]), "%Y-%m-%d %H:%M:%S")
timestamap = time.mktime(timeStruct) #元组 to 时间戳
localTime = datetime.datetime.fromtimestamp(timestamap) # 时间戳 to datetime
localDateTime = localTime + hourOffset # datetime + 8 hour
# secs = time.mktime(timeStruct)
info = reqInfo()
info.dateTime = localDateTime
# info.datetime += h;
info.path = arr[5]
info.ip = arr[8]
info.refererUrl = arr[11]
info.userAgent = arr[10]
info.scStatus = arr[13]
info.scBytes = int(arr[14])
info.timeTaken = int(arr[15])
return info
def ipTotal(reqInfo):
if reqInfo.ip not in _ipDic.keys():
_ipDic[reqInfo.ip] = 0
_ipDic[reqInfo.ip] += 1
def dirTotal(reqInfo):
path = reqInfo.path
if not path or len(path) == 0:
path = '/'
lastIndex = path.rfind('/')
dir = path[0:lastIndex]
if dir not in _dirDic.keys():
_dirDic[dir] = 0
_dirDic[dir] += 1
def hourTotal(reqInfo):
# %Y--%m--%d %H:%M:%S,元组格式化
# key = time.strftime('%Y%m%d-%H',reqInfo.dateTime) 时间元组 to 字符串
key = reqInfo.dateTime.strftime('%Y%m%d-%H') # datetime to 字符串
if key not in _hourDic.keys():
_hourDic[key] = 0
_hourDic[key] += 1
def scBytesTotal(reqInfo):
key = reqInfo.dateTime.strftime('%Y%m%d-%H') # datetime to 字符串
if key not in _scBytesByHour.keys():
_scBytesByHour[key] = reqInfo.scBytes
_scBytesByHour[key] += reqInfo.scBytes
def reqTimesTotal(reqInfo):
key = reqInfo.dateTime.strftime('%Y%m%d %H:%M:%S') # datetime to 字符串
if key not in _reqTimes.keys():
req = reqTimesModel()
req.scBytes = reqInfo.scBytes
req.times = 1
req.timeTaken = reqInfo.timeTaken
_reqTimes[key] = req
req = _reqTimes[key]
req.scBytes += reqInfo.scBytes
req.times += 1
req.timeTaken += reqInfo.timeTaken
def analize(input,output,rows):
# 排序 ---------------------------------------------
# ip 排序
print("\n\nip分析 total = ",len(_ipDic))
# 利用 lambda 定义一个匿名函数 key，参数为 x 元组(k,v)，x[1]是值，x[0]是键。reverse参数接受False 或者True 表示是否逆序
ipList = sorted(_ipDic.items(),key=lambda x:x[1],reverse=True)
print('sort\tipList.size={}\t{}\n'.format(len(ipList),type(ipList)))
# for (k,v) in ipList:
# print('{}\t{}'.format(k,v))
# 目录排序
print("\n\n目录分析 total = ",len(_ipDic))
dirList = sorted(_dirDic.items(),key=lambda x:x[1],reverse=True)
print('sort\tdirList.size={}\t{}\n'.format(len(dirList),type(dirList)))
# for (k,v) in dirList:
# print('{}\t{}'.format(k,v))
# 排序 ---------------------------------------------
#时间排序
print("\n\n时钟分析 total = ",len(_hourDic))
#写文件
curTime = datetime.datetime.now()
outFileName = 'wwwlogs-analize-{}.txt'.format(curTime.strftime('%Y%m%d%H%M%S'))
outFile = os.path.join(output,outFileName)
f = codecs.open(outFile,'w+','utf-8')
#
f.writelines("分析文件 = {}\n".format(input))
f.writelines("输出文件 = {}\n".format(outFile))
f.writelines("\n\n")
#---------------------------------------------------------
f.writelines("#汇总\t{}\n".format(curTime.strftime('%Y-%m-%d %H:%M')))
f.writelines("#总行数 = {}\n".format(rows))
f.writelines("#总 ip 数= {}\n".format(len(_ipDic)))
f.writelines("#目录总量 = {}\n".format(len(_dirDic)))
f.writelines("#总小时数 = {}\n".format(len(_hourDic)))
f.writelines("#_isDebug = {}\n".format(_isDebug))
#---------------------------------------------------------
# hour输出
f.writelines("\n\n")
maxTimes = max(_hourDic.values())
minTimes = min(_hourDic.values())
f.writelines("#总小时数={}\t峰值 {} 次/时\t谷值 {} 次/时\n"
.format(len(_hourDic)
,maxTimes
,minTimes))
for (k,v) in _hourDic.items():
rate = int(v/maxTimes*100)
f.writelines('{}\t{}\t{}({}%)\n'.format(k
,str(v).zfill(6)
,'-'*rate
,rate))
#---------------------------------------------------------
# 目录输出
f.writelines("\n\n")
f.writelines("#目录总量 = {}\n".format(len(dirList)))
top = 0
for (k,v) in dirList:
top += 1
if top >= 100:
f.writelines("print top 100 ... \n")
break
f.writelines('{}\t{}\n'.format(str(v).zfill(6)
,k))
#---------------------------------------------------------
# ip 输出
f.writelines("\n\n")
f.writelines("#ip总量 = {}\n"
.format(len(ipList)))
top = 0
for (k,v) in ipList:
top += 1
if top >= 100:
f.writelines("print top 100 ... \n")
break
f.writelines('{}\t{}\n'.format(k,v))
#---------------------------------------------------------
# 带宽 输出
f.writelines("\n\n")
dBytes = round(sum(_scBytesByHour.values())/1024/1024/1024,2) # 日总流量 GB
f.writelines("#带宽汇总 = {}时\t{}GB \n".format(len(_scBytesByHour)
,dBytes))
maxBytes = round(max(_scBytesByHour.values())/1024/1024,2) # 峰值 MB
minBytes = round(min(_scBytesByHour.values())/1024/1024,2) # 谷值 MB
f.writelines("#总小时数={}\t峰值 {} MB/时\t谷值 {} MB/时\n"
.format(len(_scBytesByHour)
,maxBytes
,minBytes))
for (k,v) in _scBytesByHour.items():
mBtys = round(v/60/1024/1024,2) # MB
hBtys = round(v/1024/1024,2) # MB
f.writelines('{}\t{}M/分\t{}M/时\n'.format(k
,mBtys
,hBtys))
#---------------------------------------------------------
# 请求分析 - 次数
f.writelines("\n\n")
reqSortByTimes = sorted(_reqTimes.items(),key=lambda x:x[1].times,reverse=True)
print('sort\treqSort.size={}\t{}\n'.format(len(reqSortByTimes),type(reqSortByTimes)))
top = 100
index = 0
f.writelines("#请求分析-并发 {}\t{} 次\n".format(len(reqSortByTimes),'n/a'))
for (k,v) in reqSortByTimes:
#print('t={}\t{}'.format(type(v),v))
index += 1
if index>=top:
f.writelines("print top {} ... \n".format(top))
break
sBytes = round(v.scBytes/1024/1024,2) # MB
f.writelines('{}\t{} 次/秒\t{} MB/秒\t{} ms/秒\n'.format(k
,v.times
,sBytes
,v.timeTaken))
# 请求分析 - 耗时
f.writelines("\n\n")
reqSortByTimetaken = sorted(_reqTimes.items(),key=lambda x:x[1].timeTaken,reverse=True)
print('sort\treqSort.size={}\t{}\n'.format(len(reqSortByTimetaken),type(reqSortByTimetaken)))
top = 100
index = 0
f.writelines("#请求分析-耗时 {}\t{} 次\n".format(len(reqSortByTimetaken),'n/a'))
for (k,v) in reqSortByTimetaken:
#print('t={}\t{}'.format(type(v),v))
index += 1
if index>=top:
f.writelines("print top {} ... \n".format(top))
break
sBytes = round(v.scBytes/1024/1024,2) # MB
f.writelines('{}\t{} 次/秒\t{} MB/秒\t耗时 {} ms/秒\n'.format(k
,v.times
,sBytes
,v.timeTaken))
# 请求分析 - 带宽
f.writelines("\n\n")
reqSortByBytes = sorted(_reqTimes.items(),key=lambda x:x[1].scBytes,reverse=True)
print('sort\treqSort.size={}\t{}\n'.format(len(reqSortByBytes),type(reqSortByBytes)))
top = 100
index = 0
f.writelines("#请求分析-带宽 {}\t{} 次\n".format(len(reqSortByBytes),'n/a'))
for (k,v) in reqSortByBytes:
#print('t={}\t{}'.format(type(v),v))
index += 1
if index>=top:
f.writelines("print top {} ... \n".format(top))
break
sBytes = round(v.scBytes/1024/1024,2) # MB
f.writelines('{}\t{} 次/秒\t{} MB/秒\t耗时 {} ms/秒\n'.format(k
,v.times
,sBytes
,v.timeTaken))
#---------------------------------------------------------
f.close()
print('总记录\t {}\n'.format(rows))
print('分析完毕\tout = {}\n'.format(outFile))
pass
def main(input,output):
if not input or not output:
print("参数为空：--input={} --output={}".format(input,output))
return
if not os.path.exists(input):
print("文件不存在：--input={} ".format(input))
return
if not os.path.exists(input):
print("文件不存在：--input={} ".format(input))
return
dir = os.path.dirname(output)
if not os.path.exists(dir):
print("目录不存在：--output={} 目录 {} 不存在".format(output,dir))
return
f = codecs.open(input,'r','utf-8')
# total = len(f.readlines())
# print('total rows = ',total)
rows = 0
# 按行统计
while True:
rows += 1
# ------
if _isDebug and rows>=20000:
print('_isDebug = ',_isDebug)
break
# ------
line = f.readline()
if not line: #等价于if line == "":
break
if line.startswith('#'):
print("跳过注释内容=>",line)
continue
reqInfo = getInfo(line)
if not reqInfo:
print("解析失败 row = {}".format(line))
continue
# txt = line.replace('\r\n','').encode('utf8')
# ip 统计，访问量倒叙
ipTotal(reqInfo)
# 各级目录执行时间统计：最大、最小、平均
dirTotal(reqInfo)
# 执行时间 top90
hourTotal(reqInfo)
# 流量统计
scBytesTotal(reqInfo)
# 并发统计
reqTimesTotal(reqInfo)
# 错误码统计
#关闭文件
f.close()
# 执行分析
analize(input,output,rows)
'''
>>> f = open('test.txt', 'w') # 若是'wb'就表示写二进制文件
>>> f.write('Hello, world!')
>>> f.close()
python文件对象提供了两个“写”方法： write() 和 writelines()。
write()方法和read()、readline()方法对应，是将字符串写入到文件中。
writelines()方法和readlines()方法对应，也是针对列表的操作。它接收一个字符串列表作为参数，将他们写入到文件中，换行符不会自动的加入，因此，需要显式的加入换行符。
关于open()的mode参数：
'r'：读
'w'：写
'a'：追加
'r+' == r+w（可读可写，文件若不存在就报错(IOError)）
'w+' == w+r（可读可写，文件若不存在就创建）
'a+' ==a+r（可追加可写，文件若不存在就创建）
对应的，如果是二进制文件，就都加一个b就好啦：
'rb' 'wb' 'ab' 'rb+' 'wb+' 'ab+'
'''
'''
python wwwlogs_analyze.py --input=/Users/wwwlogs/ex191212.log --output=/Downloads/
'''
if __name__ == '__main__':
parser = argparse.ArgumentParser(description='manual to this script')
parser.add_argument('--input', type=str, default = None)
parser.add_argument('--output', type=str, default= None)
args = parser.parse_args()
#test()
sys.exit(main(args.input,args.output))
