Python
原创
2021-07-29 10:41:01
523阅读
1.做服务器开发的经常会遇到要分析大量的日志，统计大量数据；这里介绍几种统计日志数据的方法和思路 之前有遇到过要统计几天内的url出现次数的事情，一天有24个gz压缩文件，每个文件大概6G左右，URL的不重复率也很高 使用方法: 1.用shell 解压然后在统计，shell脚本写起来麻烦，统计那一块很多人也不是很熟悉(不也不咋熟悉)，sort又很慢，用下面的方法进行md5转换就更慢了
转载
2024-06-13 22:21:32
34阅读
什么是日志？日志是一种可以追踪某些软件运行时所发生事件的方法。通过log的分析，可以方便用户了解系统或软件、应用的运行情况。 我们通过记录和分析日志可以了解一个系统或软件程序运行情况是否正常，也可以在应用程序出现故障时快速定位问题。 在自动化测试中，我们也可以使用日志模块进行记录以及问题的快速查找。python如何实现日志的收集？logging模块的基本应用组建名称对应类名功能描述日志器Logge
转载
2023-07-14 14:36:51
97阅读
用Python写代码的时候，在想看的地方写个print xx 就能在控制台上显示打印信息，这样子就能知道它是什么了，但是当我需要看大量的地方或者在一个文件中查看的时候，这时候print就不大方便了，所以Python引入了logging模块来记录我想要的信息。 print也可以输入日志，logging相对print来说更好控制输出在哪个地方，
转载
2023-06-15 09:58:43
526阅读
一.日志概述日志作用在项目开发或测试过程中，项目运行一旦出现问题，记录日志信息就显得尤为重要。主要通过日志来定位问题，就好比侦探人员要根据现场留下的线索来推断案情。日志级别级别使用情况DEBUG调试信息，也是最详细的日志信息INFO证明事情按预期工作WARNING表明发生了一些意外，或不久的将来会发生问题（如 磁盘满了），软件还是正常工作ERROR由于更严重的问题，软件已经不能执行一些工作了CRI
转载
2023-06-12 23:29:23
159阅读
一、文件操作流程打开文件，得到文件句柄并赋值给一个变量通过句柄对文件进行操作关闭文件#1. 打开文件，得到文件句柄并赋值给一个变量
f=open('a.txt','r',encoding='utf-8') #默认打开模式就为r
#2. 通过句柄对文件进行操作
data=f.read()
#3. 关闭文件
f.close()注意：1. 打开一个文件包含两部分资源：操作系统级打开的文件+应用程序的
简介很多程序都有记录日志的需求，并且日志中包含的信息即有正常的程序访问日志，还可能有错误、警告等信息输出，python的logging模块提供了标准的日志接口，你可以通过它存储各种格式的日志，logging的日志可以分为 debug(), info(), warning(), error() and critical() 5个级别，下面我们看一下怎么用。LevelWhen it’s usedDEB
转载
2024-06-16 10:59:39
61阅读
python处理日志文件1 打开日志文件虽然，日志文件的后缀为.log，但是基本上与文本文件没有区别，按照一般读取文本文件的方式打开即可：fp =open("e:\\data.log")
fp.close()2 提取目标信息日志文件每行字符串由空格分隔，例如对第1个字段（IP、时间等）感兴趣，则使用split()方法对每行字符串进行切片，将第1个子字符串存到列表里，用于下一步处理。示例代码：#!/
转载
2020-05-17 20:20:00
179阅读
文章目录一、前言为什么要使用loguru?二、优雅的使用loguru1. 安装loguru2.功能特性介绍3. 开箱即用，无需准备4. 更容易的文件日志记录与转存/保留/压缩方式5. 更优雅的字符串格式化输出6. 在子线程或主线程中捕获异常7. 可以设置不同级别的日志记录样式8.支持异步且线程和多进程安全9. 异常的完整性描述10. 结构化日志记录11. 惰性计算12. 可定制的级别13. 适用
转载
2024-03-11 06:53:23
77阅读
## 处理大文件内存溢出的流程
在处理大文件时，由于文件过大，可能会导致内存溢出的问题。为了解决这个问题，我们可以采用一种分块读取的方式，逐块处理文件，从而避免一次性加载整个文件到内存中。
以下是处理大文件内存溢出的流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 打开大文件并读取文件的第一块数据 |
| 步骤二 | 处理当前块的数据 |
| 步骤三 | 读取下一块
原创
2023-08-21 10:43:08
409阅读
日志记录在软件开发中扮演着至关重要的角色。它不仅可以帮助开发人员跟踪应用程序的状态和行为，还能提供有价值的诊断信息。Python 提供了内置的 logging 模块，为开发者提供了一个强大且灵活的日志记录工具。日志的重要性在软件开发中，对于应用程序的行为进行监控和记录至关重要。日志记录不仅可以在应用程序出现错误时提供关键的调试信息，还能够帮助分析应用程序的性能、用户行为和其他重要数据。目的和结构本
转载
2024-06-27 10:48:58
63阅读
处理流程记录accesslog日志切割整理accesslog日志入库数据数据抽取、分割制作报表适用场景accesslog日志记录了比较全面的访问日志。针对访问日志进行不同接口/页面/用户/终端的PV/UV统计，或者数据报表统计。业务log日志中记录了比较全面的业务节点数据，针对这些节点数据做统计处理。ps: 当然日志也可以用==ELK==这套框架进行分析，但是对于数据的整合重组可能需要额外处理。详
转载
2024-06-03 13:22:49
44阅读
将JVM垃圾回收的日志记录下来，对于分析垃圾回收的运行状态，进而调整内存分配(年轻代，老年代，永久代的内存分配)等是很有意义的。JVM与垃圾回收日志相关的参数包括：-XX:+PrintGC-XX:+PrintGCDetails-XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps-Xloggc-XX:+PrintGC通过这个参数可以简单的打印GC的信息，包括当前
转载
2023-11-27 05:08:22
87阅读
今天看到专家博客发布了此问题的处理方法（链接），恰好前不久也遇到过类似问题（LWQ删了程序的文件和日志，但没有结束进程，让人一阵好找），觉得有必要纳入到自己博客中来，奈何专家注明谢绝转载，所以，自己写吧。 部分程序因为设计需要，可能会产生巨大的日志文件，如果长期不清理，将造成磁盘空间被占满的问题采用logrotate是个有效的办法（之前转载过该类文章），但对于已经占满磁盘的问题日志文件，
原创
2014-07-09 21:10:01
2403阅读
同学们时常会遇到要处理大文件的情况，现在是大数据时代，有些文件动辄几十个G，我们在处理这样文件的时候一不小心就把内存撑爆了，或者程序被强制kill掉了。
原因是你一次性把文件的所有内容都读取到内存里面了。python里面有方法可以一段一段的读文件。
原创
2016-11-01 16:52:49
8245阅读
python大文本文件处理_python – 逐行处理非常大(> 20GB)的文本文件
转载
2023-07-06 10:53:10
92阅读
简介在所有项目中必不可少的一定是日志记录系统，python为我们提供了一个比较方便的日志模块logging，通常，我们都会基于此模块编写一个日志记录类，方便将项目中的日志记录到文件中。logging日志主要分为如下几个等级。日志等级描述DEBUG详细信息，通常仅在诊断问题时才有意义。INFO无异常时输出的日志，主要是确认程序是否正常按照预期进行的WARNING当出现一些异常信息（例如磁盘空间不足）
转载
2023-07-01 00:07:59
100阅读
logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等。其主要优点如下：1.可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息；2.尤其是代码运行在服务器上，当出现问题时可以通过查看日志进行分析。logging模块基本使用：设置logger名称logger = logging.getLogg
转载
2023-06-26 14:07:13
135阅读
# Python日志处理指南
在开发程序时，日志是一个重要的部分。它记录了程序的运行情况，能够帮助我们调试和维护应用程序。在这篇文章中，我将教会你如何在Python中处理日志，整个过程将通过以下几个步骤来完成。
## 流程步骤概览
| 步骤号 | 步骤描述 | 具体操作 |
| ------ | ----------------
原创
2024-08-22 06:22:45
89阅读
日志 日志是跟踪软件运行时所发生的事件的一种方法。软件开发者在代码中调用日志函数，表明发生了特定的事件。事件由描述性消息描述，该描述性消息可以可选地包含可变数据（即，对于事件的每次出现都潜在地不同的数据）。事件还具有开发者归因于事件的 ng提供了一组便
原创
2021-11-18 19:35:00
244阅读
