需求：需要统计一个文件的行数
讨论:最简单的办法是把文件读入一个大的列表中,然后统计列表的长度.如果文件的路径是以参数的形式filepath传递的,那么只用一行代码就可以完成我们的需求了。
file_path = r'F:\orm模块\a.txt'
count = len(open(file_path).readlines())
print(count)如果是非常大的文件,上面的方法可能很慢,甚至失效.此时,可以使用循环来处理:
file_path = r'F:\orm模块\a.txt'
count = -1
for count, line in enumerate(open(file_path, 'rU')):
pass
count += 1
print(count)另外一种处理大文件比较快的方法是统计文件中换行符的个数'\n
'(或者包含'\n'的字串,如在windows系统中):
file_path = r'F:\orm模块\a.txt'
count = 0
file_obj = open(file_path, 'rb')
while True:
buffer = file_obj.read(8192 * 1024)
if not buffer:
break
count += buffer.count(b'\n')
print(count+1)
file_obj.close()参数'rb'是必须的,否则在windows系统上,上面的代码会非常慢.
当 外部系统提供统计行数的方法时,你可以使用它们(通过os.popen),如unix的wc - l.当然,通过自己的程序来完成会更简单,快捷和通用.你可以假设大多数的文本文件都有合理的大小,所以把它们一次读入内存中处理是可行的.对于这样的情 况,len方法返回readlines的大小是最简单的.
加入一个文件的大小大于内存(比如,有好几百M那么大),那个最简单的方法会变得难以忍受的慢,因为操作系统要使用虚拟内存,并不停同过硬盘来换页.也可能出现失败的情况 ,就是虚拟内存不够大.一台有256M内存的机器,当处理一个1G或2G大小的文件的时候,仍然可能出现严重的问题.在这种情况下,使用循环处理是比较好的方式,enumerate保存了函数.
第三种方法的核心思想是统计缓存中回车换行字符的个数.这可能最不容易直接想到的方法,也是最不通用的方法,但它可能是最快的方法.
当然,在大多数情况下,性能并不是最重要的,但如果它是的话,影响性能的部分往往不是我们的直觉告诉我们的地方,所以请千万不要相信自己的直觉, 要考评估和测量来判断.举例说明,对于一个中等大小的unix日志文件,比如一个18M的文本,包含了230,000行:
[situ@tioni nuc]$ wc nuc
231581 2312730 18508908 nuc使用下面的测试文件,bench.py:
import time
from pygments.util import xrange
file_path = r'F:\orm模块\a.txt'
def timeo(fun, n=10):
start = time.clock( )
for i in xrange(n): fun( )
end_time = time.clock( )
the_time = end_time-start
return (fun.__name__, the_time)
import os
def linecount_w( ):
return int(os.popen('wc -l nuc').read( ).split( )[0])
def linecount_1( ):
return len(open(file_path).readlines( ))
def linecount_2( ):
count = -1
for count, line in enumerate(open(file_path)): pass
return count+1
def linecount_3( ):
count = 0
the_file = open(file_path, 'rb')
while True:
buffer = the_file.read(65536)
if not buffer: break
count += buffer.count(b'\n')
return count
for f in linecount_w, linecount_1, linecount_2, linecount_3:
print(f.__name__, f( ))
for f in linecount_1, linecount_2, linecount_3:
print ("%s: %.2f"%timeo(f))首先我调用所有的方法来读文件,以确保不会发生异常情况(如果发生的话程序会中止),接下来,在函数timo中,我调用每种方法10次,然后看看结果,这是一个比较旧但比较稳定的机器:
[situ@tioni nuc]$ python -O bench.py
linecount_w 231581
linecount_1 231581
linecount_2 231581
linecount_3 231581
linecount_1: 4.84
linecount_2: 4.54
linecount_3: 5.02可以看出,性能上的差别不是很大,实际上,一般用户不会在意10%左 右的性能差别.另外,最快的方法是用循环处理文件对象,而最慢的方法是统计换行符的个数.在实际中,假如不考虑处理那些好几百M的大文件,我总是会选中第一种最简单的方法.
测量代码的性能是很重要的,Python标准库也提供了timeit来实现这些工作.我建议你使用timeit,而不是像我在本节做的那样,自己写测试代码,我写的代码是好几年前的事情了,现在既然有了timeit,就没有必要再使用它了.
统计压缩文件行数
import zipfile, os
file_path = r'F:\orm模块\day65.zip'
z = zipfile.ZipFile(file_path, "r")
# 打印zip文件中的文件列表
total_line = 0
code_line = 0
comment_line = 0
file_size = 0
for filename in z.namelist():
content = z.read(filename)
if not len(content): continue
file_size += len(content) # 文件大小统计
with open('tmp', 'wb') as f1:
f1.write(content)
with open('tmp', 'rb') as f2:
for line in f2:
total_line += 1 # 文件行数统计
if not line.strip(): continue
if line.strip().startswith(b'#'):
comment_line += 1 # 注释行统计
else:
code_line += 1 # 代码行统计
os.remove('tmp')
print(total_line)
print(code_line)
print(comment_line)
print(file_size)
