在项目开发时，我们总是离不开日志。只有我们多记一些日志，在程序出现意想不到的问题时，才能第一时间准确的排查，并且可以查看程序的一些信息。在python中，日志功能一般使用logging模块。如何有效的进行日志的设置，每个人都有自己的想法。在网络上看见使用字典进行日志的一些配置，这种风格我很喜欢，特记录在此。import os
import logging.config #不能只导入loggin
转载
2024-02-02 11:08:31
77阅读
分析日志文件1、日志文件的作用日志文件是用于记录Linux系统中各种运行信息的文件，相当于Linux主机的“日记”。不同的日志文件记载了不同类型的信息，如Linux内核消息、用户登录事件、程序错误等。日志文件对于诊断和解决系统中的问题很有帮助，因为在Linux系统中运行的程序通常会把系统消息和错误消息写入相应的日志文件，这样系统一旦出现问题就会“有据可查”。此外，当主机遭受***时，日志文件还可以
转载
2024-02-28 20:30:36
44阅读
运维波
原创
2018-03-08 11:12:29
3316阅读
1.统计ip访问量前10的 ip地址 cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -n 102.查看当天ip访问量统计 cat access.log |grep "21/Apr/2016" |awk '{print $1}'|sort|uniq -c|sort -nr3.查
原创
2016-04-21 15:18:02
2259阅读
nginx日志访问量，多维度统计，__fields表示每条日志以空格分隔后索引对应的字段名称。如0表示第一个字段客户端IP（client_ip），要统计其它字段，只需在这里添加即可。## 直接上代码# -*- coding:utf-8 -*-
import sys
try:
&nbs
原创
2017-09-12 18:41:40
5538阅读
点赞
1、写日志log = nnlog.Logger('python.log',level='debug',backCount=5,when='D')level：输出日志级别,debug:把所有的日志都打印出来，info：打印info以上的日志，warning：打印warning以上的日志，error：只会打印error级别的日志backCount：备份几个日志when：以什么时间周期来生成，D：按天，
转载
2023-06-21 23:50:36
101阅读
用户需要登录统计信息，当分析用户行为，使用shell通常可以很容易地取出了大量的数据。删除，然后放入excel统计。例如：统计日志含有loadCustomProcess这个地址的訪问，按訪问耗时排序：grep "loadCustomProcess" /home/workflow/socket.txt...
转载
2015-08-18 14:17:00
155阅读
2评论
http://www.oschina.net/project/tag/147/log-analyzer?lang=0&os=0&sort=view&p=1
原创
2014-09-03 20:47:00
702阅读
# -*- coding:UTF-8 -*-"""access_log 建模:根据request长度来生成白名单(基于统计的方法)第一阶段：训练阶段 application profiling分析对象：access log分析方法：(1) 去重(2) 筛掉响应码为4xx,5xx的请求 （或者选择2xx，3xx的请求）(3) 筛掉静态资源请求第二阶段：检测阶段on-line learning sta
原创
2015-05-15 09:55:40
1605阅读
本文主要使用的是grep,awk,cut等工具来对nginx日志进行统计和分析，具体如下：1，列出当天访问最多次数的ip地址cut -d- -f 1 /usr/local/nginx/logs/20160329/access_2016032913.log |uniq -c | sort -rn | head -20 [root@httpservera 2016032
原创
2016-03-29 14:48:43
5331阅读
一、前言性能场景中的业务模型建立是性能测试工作中非常重要的一部分。而在我们真实的项目中，业务模型跟线上的业务模型不一样的情况实在是太多了。原因可能多种多样，这些原因大大降低了性能测试的价值。今天的文章中，我想写的是最简单的逻辑。那就是从基于网关 access 日志统计分析转化到具体的场景中的通用业务模型。详细的介绍请参考《性能测试实战30讲》 中的 【14丨性能测试场景：如何理解业务模型？】通用业
原创
精选
2021-05-15 23:33:45
1915阅读
点赞
相信在当今的 DT 时代，任何岗位都需要用到数据分析的思维和能力。
原创
2023-04-06 13:08:10
147阅读
# 如何使用Python统计日志
## 流程图
```mermaid
stateDiagram
[*] --> 开始
开始 --> 读取日志文件
读取日志文件 --> 解析日志
解析日志 --> 统计信息
统计信息 --> 输出结果
输出结果 --> [*]
```
## 步骤及代码示例
| 步骤 | 内容 | 代码示例 |
| ---- |
原创
2024-06-07 05:52:03
64阅读
常用命令 打包压缩：gzip,tar 内容输出：tail,head,cat,zcat,more,less,管道,>,>> 内容过滤：grep,sed 内容拆分：awk,cut 排序汇总：sort,uniq,awk日志截取按时间截取 sed -n ‘/2017-12-18 18:30:00/,/2017-12-18 19:00:00/p’ catalina.2017-12-18.out |
原创
2022-10-26 10:06:04
188阅读
1.日志配置官方文档：Module ngx_http_log_module日志模块名称：ngx_http_log_module(1) log_format 日志格式(2) access_log 访问日志(3) error_log 错误日志(4) open_log_file_cache 日志缓存open_log_fi
pv一般都是统计指定页面的点击量，这里用首页来计算grep "/index.php" /var/log/nginx/access.log | wc -luv是统计指定页面上真是访问的用户，也就是说同一ip 不管点击多少次都算一个uvgrep "/index.php" /var/log/nginx/access.log
原创
2015-09-24 10:52:24
1905阅读
nginx日志分析常用命令，包括IP相关统计、页面访问统计、性能分析、蜘蛛抓取统计、TCP连接统计等相关命令的总结 1. IP相关统计 1.1 ip访问量统计 awk '{print $1}' access.log | sort -n | uniq | wc -l 1.2 查看某一时间段的IP访问量 ...
转载
2021-08-31 22:19:00
357阅读
2评论
前言python是当前数据分析最流行的工具之一，在做数据分析的时候我们经常会用到一些统计学的基础知识和概念，如概率，分布，直方图，箱体图，分位数等等。不可否认的是R语言及其工具是统计分析最专业的武器，正因为它太过专业(使用者需要具备统计学的专业知识)，使得它的受众局限于特定领域的专业人士,而python是后起之秀，它瑞士军刀般的灵活性正被越来越多的IT从业人员所使用，同时python也包含了很多第
转载
2023-10-07 21:14:57
198阅读
Apche日志系列(1)：访问日志想要知道什么人在什么时候浏览了网站的哪些内容吗？查看Apache的访问日志就可以知道。访问日志是Apache的标准日志，本文详细解释了访问日志的内容以及相关选项的配置。一、访问日志的格式 Apache内建了记录服务器活动的功能，这就是它的日志功能。这个《Apache日志》系列文章介绍的就是Apache的访问日志、错误日志，以及如何分析日志数据，如何
转载
2024-08-31 20:56:25
263阅读
# Python统计Log日志数据的入门指南
在现代软件开发中，处理日志是一个重要的环节。日志可以帮助我们追踪程序运行的状态、定位问题和进行性能分析。本篇文章将带你了解如何用Python统计Log日志数据。
## 流程概述
以下是实现这一目标的基本流程：
| 步骤 | 描述 |
|-------|------|
| 1 | 确定日志格式和内容 |
| 2 | 读取日志文件
原创
2024-09-07 04:50:17
108阅读
