Python异步下载文件 python异步写文件

转载

mob64ca14173efa 2023-10-08 19:23:25

文章标签 Python异步下载文件 python 编程文本文件 Python 文章分类 Python 后端开发

python——IO编程——文件读写

IO编程中，Stream（流）是一个很重要的概念，可以把流想象成一个水管，数据就是水管里的水，但是只能单向流动。Input Stream就是数据从外面（磁盘、网络）流进内存，Output Stream就是数据从内存流到外面去。
同步和异步的区别就在于是否等待IO执行的结果。好比你去麦当劳点餐，你说“来个汉堡”，服务员告诉你，对不起，汉堡要现做，需要等5分钟，于是你站在收银台前面等了5分钟，拿到汉堡再去逛商场，这是同步IO。
很明显，使用异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂。想想看，你得知道什么时候通知你“汉堡做好了”，而通知你的方法也各不相同。如果是服务员跑过来找到你，这是回调模式，如果服务员发短信通知你，你就得不停地检查手机，这是轮询模式。总之，异步IO的复杂度远远高于同步IO。

1：读文件。

读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的.
要以读文件的模式打开一个文件对象，使用Python内置的

open()

函数，传入文件名和标示符;
如果文件不存在，

open()

函数就会抛出一个

IOError

的错误，并且给出错误码和详细的信息告诉你文件不存在;
如果文件打开成功，接下来，调用

read()

方法可以一次读取文件的全部内容，Python把内容读到内存，用一个

str

对象表示：
最后一步是调用

close()

方法关闭文件。文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的：

# !usr/bin/env python3
# -*- coding: utf-8 -*-
# for IO testing in 2017-05-30

StrFilePath = "H:\\PycharmProjects\\2017\\test\\zht-test.txt"
FileHandle = open(StrFilePath, 'r')

StrFileContent = FileHandle.read()
print('>>:filepath[%s] fileconten[%s]' % (StrFilePath, StrFileContent))

FileHandle.close()
结果：
>>:filepath[H:\PycharmProjects\2017\test\zht-test.txt] fileconten[1:nihao;
2:what;
3:hello;
4:world;]

由于文件读写时都有可能产生

IOError

，一旦出错，后面的

f.close()

就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用

try ... finally

来实现：
但是每次都这么写实在太繁琐，所以，Python引入了

with

语句来自动帮我们调用

close()

方法，这和前面的

try ... finally

是一样的，但是代码更佳简洁，并且不必调用

f.close()

方法。

# !usr/bin/env python3
# -*- coding: utf-8 -*-
# for IO testing in 2017-05-30

StrFilePath = "H:\\PycharmProjects\\2017\\test\\zht-test.txt"

def FuncFilePint(StrFilePath, FileHanle):
    StrFileContent = FileHandle.read()
    print('>>:filepath[%s] fileconten[%s]' % (StrFilePath, StrFileContent))

try:
    FileHandle = open(StrFilePath, 'r')
    FuncFilePint(StrFilePath, FileHandle)
finally:
    if (FileHandle):
        FileHandle.close()

with open(StrFilePath, 'r') as FileHandle:
    FuncFilePint(StrFilePath, FileHandle)

调用

read()

会一次性读取文件的全部内容，如果文件有10G，内存就爆了，所以，要保险起见，可以反复调用

read(size)

方法，每次最多读取size个字节的内容。另外，调用

readline()

可以每次读取一行内容，调用

readlines()

一次读取所有内容并按行返回

list

# !usr/bin/env python3
# -*- coding: utf-8 -*-
# for IO testing in 2017-05-30

FileSize = 10
StrFilePath = "H:\\PycharmProjects\\2017\\test\\zht-test.txt"

def FuncFilePint(StrFilePath, FileHanle, FileSize):
    print('>>:filepath[%s]' % (StrFilePath))
    ListFileContent = []
    while (True):
        StrTmp = FileHandle.read(FileSize)
        if (0 >= len(StrTmp)):
            print("--- read all ---")
            break
        else:
           ListFileContent.append(StrTmp)

    print(ListFileContent)

try:
    FileHandle = open(StrFilePath, 'r')
    FuncFilePint(StrFilePath, FileHandle, FileSize)
finally:
    if (FileHandle):
        FileHandle.close()
结果：
>>:filepath[H:\PycharmProjects\2017\test\zht-test.txt]
--- read all ---
['1:nihao;\n2', ':what;\n3:h', 'ello;\n4:wo', 'rld;']

# !usr/bin/env python3
# -*- coding: utf-8 -*-
# for IO testing in 2017-05-30

StrFilePath = "H:\\PycharmProjects\\2017\\test\\zht-test.txt"

def FuncFilePint(StrFilePath, FileHanle):
    print('>>:filepath[%s]' % (StrFilePath))
    ListFileContent = []
    
    for StrTmp in FileHandle.readlines():
        ListFileContent.append(StrTmp.strip()) # 把末尾的‘\n’去掉

    print(ListFileContent)

try:
    FileHandle = open(StrFilePath, 'r')
    FuncFilePint(StrFilePath, FileHandle)
finally:
    if (FileHandle):
        FileHandle.close()
结果：
>>:filepath[H:\PycharmProjects\2017\test\zht-test.txt]
['1:nihao;', '2:what;', '3:hello;', '4:world;']

open()

函数返回的这种有个

read()

方法的对象，在Python中统称为file-like Object。除了file外，还可以是内存的字节流，网络流，自定义流等等。
file-like Object 不要求从特定类继承，只要写个

read()

方法就行。

StringIO

就是在内存中创建的file-like Object，常用作临时缓冲。
前面讲的默认都是读取文本文件，并且是UTF-8编码的文本文件。要读取二进制文件，比如图片、视频等等，用

'rb'

模式打开文件即可：

f = open('/Users/michael/test.jpg', 'rb')

要读取非UTF-8编码的文本文件，需要给

open()

函数传入

encoding

参数，例如，读取GBK编码的文件：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')

遇到有些编码不规范的文件，你可能会遇到

UnicodeDecodeError

，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，

open()

函数还接收一个

errors

参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

2：写文件；

写文件和读文件是一样的，唯一区别是调用

open()

函数时，传入标识符

'w'

或者

'wb'

表示写文本文件或写二进制文件：
当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用

close()

方法时，操作系统才保证把没有写入的数据全部写入磁盘。
要写入特定编码的文本文件，请给

open()

函数传入

encoding

参数，将字符串自动转换成指定编码。

# !usr/bin/env python3
# -*- coding: utf-8 -*-
# for IO testing in 2017-05-30

StrFilePath = "H:\\PycharmProjects\\2017\\test\\zht-test.txt"

with open(StrFilePath, 'w', encoding = 'utf8') as FileHanle:
    FileHanle.write('从你的全世界路过')

with open(StrFilePath, 'r', encoding = 'utf8') as FileHanle:
    print('filepath[%s] filecontent[%s]' % (StrFilePath, FileHanle.read()))
结果：
filepath[H:\PycharmProjects\2017\test\zht-test.txt] filecontent[从你的全世界路过]