目录1.使用Python的 logging 模块记录日志2. Python log 的日志级别3.logging 日志格式4.logging 模块:Logger 、Handler、Filter、Formatter5.自动分割日志文件-日志文件按照时间划分或者按照大小划分6总结与扩展7 Linux 下的 rsyslog 日志服务器8.参考官方文档:[1]https://docs.python.org
题目:    有如下log文件,请打印出独立IP,并统计独立IP数,打印出访问最多的前5个ip及访问次数:log文件www.log内容类似如下格式:125.78.48.67 - - [25/Dec/2014:15:31:20 +0800] "GET /logo.jpg HTTP/1.1"&
原创 2014-12-29 16:45:44
2157阅读
命令统计apache或nginx日志中访问最多的100个ip及访问次数,这个在以前做日志统计的时候经常用到awk '{print $1}' 日志地址 | sort | uniq -c | sort -n -k 1 -r | head -n 100
原创 2015-07-13 15:53:07
633阅读
按时间段获取日志sed -n '/22\/Dec\/2015:00/,/22\/Dec\/2015:50/p' localhost_access_log.2015-11-10.txt > /tmp/acc.www.log  sed -n '/22\/Dec\/2015:00/,/22\/Dec\/2015:50/
原创 2015-12-22 10:29:41
2325阅读
1点赞
use 5.010; while(<>){         my @llog=split;         $ips{$llog[0]}++; } for(keys %ips){  &nb
原创 2016-05-19 14:27:52
637阅读
引 入               日志文件,是我们记录用户行为的重要手段。而对于不同的用户,我们往往又会根据IP来区分,所以统计日志文件中的IP访问,对于数据分析人员和相关运营专员来说,是一件重要的事情,这里,采用python这门语言来完成这个小功能。一、分析IP格式  &nb
原创 精选 2016-02-23 21:39:51
5674阅读
2点赞
3评论
Nginx访问日志文件内容如下:10.9.40.134--[01/Aug/2016:06:29:42+0800]"POST/HTTP/1.1"3020"-""python-requests/2.4.3CPython/2.7.9Linux/3.16.0-4-amd64"10.9.40.134--[01/Aug/2016:06:29:42+0
转载 2017-12-15 13:32:24
3969阅读
1点赞
日志文件中按ip提取,用uniq统计每个ip数量,然后用awk计算cat access.log | awk -F '-' '{print $1}' | uniq -c | awk -F ' ' 'BEGIN {diff = 0;} { diff = diff + $1;} END {print diff;}'
原创 2010-06-29 22:16:27
3505阅读
1评论
cat access_log | awk '{++S[$1]} END {for(a in S) print a, S[a]}'|sort|wc -l     第一列是IP列,第四列是时间列 瞬时IP数:cat access_log | grep 'jw_player.html'|awk '{++S[$4]} END {for(a in S) print a, S[a]
转载 精选 2011-02-28 12:01:27
699阅读
cat access.log | awk '{ips[$1]+=1} END{for(ip in ips) print ip,ips[ip]}'
转载 2012-08-30 00:56:59
454阅读
tomcat日志文件 访问IP统计
原创 2018-09-30 11:00:57
1312阅读
1、写日志log = nnlog.Logger('python.log',level='debug',backCount=5,when='D')level:输出日志级别,debug:把所有的日志都打印出来,info:打印info以上的日志,warning:打印warning以上的日志,error:只会打印error级别的日志backCount:备份几个日志when:以什么时间周期来生成,D:按天,
转载 2023-06-21 23:50:36
101阅读
1、先查看下日志的格式: "1.162.50.56, 19.97.154.15" - - [04/Mar/2012:10:15:33 +0800] "GET /book/12688.html HTTP/1.0" 200 48407 "http://www.baidu.com/" "Mozilla/4.0 (compatible
原创 2012-03-06 12:15:09
1110阅读
我们在统计访问日志的时候,经常要提及到三个概念:UV   PV   IP ,其中UV与IP的区别有时让初学者摸不着头脑,简单的聊一下这些概念: 一、Cookie、UV和IP的概念  要区别UV和IP,就要先说到Cookie。Cookie(或Cookies)指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)
原创 2015-06-05 11:31:04
3433阅读
pv一般都是统计指定页面的点击量,这里用首页来计算grep "/index.php" /var/log/nginx/access.log | wc -luv是统计指定页面上真是访问的用户,也就是说同一ip 不管点击多少次都算一个uvgrep "/index.php" /var/log/nginx/access.log 
原创 2015-09-24 10:52:24
1905阅读
#coding=utf8 import copy import ctypes from ctypes import byref, POINTER, cast, c_uint64, c_ulong, c_char_p, c_wchar_p from ctypes.wintypes import BOOL, DWORD, HANDLE, LPVOID, WORD, HKEY, LONG import
转载 2023-06-20 15:04:29
214阅读
前段时间在做一个算法测试,需要对数据进行分析才能获取到结果;而数据来源于日志日志文件较大,所以想要获取数据的变化曲线,增量读取是最好的方式。本文介绍获取文件句柄的指针操作的Python实现。 背景前段时间在做一个算法测试,需要对源于日志的数据进行分析才能获取到结果;日志文件较大,所以想要获取数据的变化曲线,增量读取是最好的方式。网上有很多人的技术博客都
    我们在操作数据的时候经常遇到这样的情况,需要对一些产生环境的日志数据进行分析,而某些大公司的朋友,经常没有服务器的管理权限,因此,我们就需要将数据自动导入的mysql中,本内容就是基于。文章重点:1 日志文件按行读取,防止日志数据过大,操作时使用行读取,不占用内存空间2 数据库使用长链接,进行写操作,mysql的长连接文章在我们的“python mysql 长
转载 2024-04-11 18:35:25
45阅读
问题描述:在A机器上的日志(*.Evt)文件在A机器上可以直接读取,但是我将A机器上的日志文件拷贝到B机器上打开的时候,就会提示文件已损坏。解决办法:1. 首先找到 0x11111111222222223333333344444444 將之后16bytes 抄下,这16bytes会在0x28000000前,2. 回到文件开头,把这16bytes从第17byte开始复写到32byte,3. 最後再改
####python统计独立IP#####!/usr/bin/python #coding:utf8 import re import sys import time yesterday=time.strftime('%Y%m%d',time.localtime(time.time()-24*60*60)) path='/var/logs/usage.wifigx.
原创 2014-06-09 14:23:02
610阅读
  • 1
  • 2
  • 3
  • 4
  • 5