python–小技巧:python读取大文件

1.当我们使用python读取文件的时候，我们通常是这样写的

with open('xx.txt','r')as f:
    for line in f:
        print(line)

这样我们就可以遍历一行行的遍历文本。

2. 但是当文本很大的时候，我们就不能这样写了，因为这样可能导致我们的内存爆掉了。
我们可以利用生成器，每次迭代出一块一块来，这样就不会出现问题啦。

# size:每次块的大小
for lines in chunkify('./xxxx.log', size=int(1024 * 1024 * 0.5)):
    print(lines)e)
    with open(fname, 'r') as f:
        while True:
            f.seek(start)
            lines = f.read(size).split('\n')
            last_line_size = len(bytes(lines[-1].encode('utf-8')))
            start = f.tell() - last_line_size
            yield lines[:-1]
            # if start >= fileEnd - last_line_size:
            #     break

*可以看到这里使用的read函数，每次读取size大小的文本。
*根据\n来切割文本，使之为一行行的。
*文本的指针用tell来定位位置，用seek来跳跃到最新的位置。

3. 使用

for lines in chunkify('./xxxxx.log', size=int(1024 * 1024 * 0.5)):
    print(lines)

这样可以达到读取一行行的效果，同时也不用担心文件太大，而太占内存。

4. 其他相关的模块，在搜文章的时候顺便了解了一下。
如果你也遇到了读取大文件的，那你肯定会遇到linecache模块

linecache模块的作用是将文件内容读取到内存中，进行缓存，而不是每次都要从硬盘中读取，这样效率提高很多，又省去了对硬盘IO控制器的频繁操作。

当我们需要读取多个文件时，效果会非常好。

linecache.getlines(filename) # 读取文件的全部内容
linecache.getline(filename,lineno)# 读取文件指定行
linecache.clearcache() # 清除缓存
linecache.updatecache(filename) # 当文件更新了，使用这个函数可以更新linecache.getlines(filename)返回的列表。