文章目录

操作系统接口

文件通配符

命令行参数

错误输出重定向和程序终止

字符串模式匹配

数学

网络访问

日期和时间

数据压缩

性能度量

质量控制

开箱即用

参考资料

操作系统接口

os 模块提供了很多与操作系统交互的函数。

>>> import os
>>> os.getcwd()      # Return the current working directory
'C:\\Python39'
>>> os.chdir('/server/accesslogs')   # Change current working directory
>>> os.system('mkdir today')   # Run the command mkdir in the system shell
0

必须用 import os 而不是 from os import *。这样可以保证 os.open() 不会覆盖随操作系统差异很大的内置 open() 函数。

在使用一些像 os 这样的大型模块时,内置的 dir() 和 help() 函数和交互式辅助工具一样有用。

>>> import os
>>> dir(os)
<returns a list of all module functions>
>>> help(os)
<returns an extensive manual page created from the module's docstrings>

对于日常的文件和目录管理任务,shutil 模块提供了一个更易于使用的更高级别的接口:

>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')
'archive.db'
>>> shutil.move('/build/executables', 'installdir')
'installdir'

文件通配符

glob 模块提供了一个用于从目录通配符搜索中生成文件列表的函数。

>>> import glob
>>> glob.glob('*.py')
['primes.py', 'random.py', 'quote.py']

命令行参数

通用工具脚本经常需要处理命令行参数,这些参数作为列表存储在 sys 模块的 argv 属性中。例如,在命令行中执行 python demo.py one two three 后可以得到以下输出结果:

>>> import sys
>>> print(sys.argv)
['demo.py', 'one', 'two', 'three']

argparse 模块提供了一个更复杂的机制来处理命令行参数。以下脚本会提取一个或多个文件名和要显示的可选行数:

import argparse

parser = argparse.ArgumentParser(prog = 'top',
    description = 'Show top lines from each file')
parser.add_argument('filenames', nargs='+')
parser.add_argument('-l', '--lines', type=int, default=10)
args = parser.parse_args()
print(args)

当运行命令行 python top.py --lines=5 alpha.txt beta.txt 时,该脚本会设置 args.lines 为 5,设置 args.filenames 为 ['alpha.txt', 'beta.txt']。

错误输出重定向和程序终止

sys 模块也有 stdin,stdout 和 stderr 属性,后者用于发出警告和错误信息,即使 stdout 被重定向这些信息也可见。

>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one

终止脚本最直接的方式是使用 sys.exit()。

字符串模式匹配

re 模块为高级字符串处理提供了正则表达式工具。对于复杂的匹配和操作,正则表达式提供了简明、优化的解决方案。

>>> import re
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
'cat in the hat'

如果只需要简单的功能,应该首先考虑字符串方法,因为它们更易于阅读和调试。

>>> 'tea for too'.replace('too', 'two')
'tea for two'

数学

math 模块可以访问浮点数学的底层 C 库函数:

>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0

random 模块提供了进行随机选择的工具:

>>> import random
>>> random.choice(['apple', 'pear', 'banana'])
'apple'
>>> random.sample(range(100), 10)   # sampling without replacement
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random()    # random float
0.17970987693706186
>>> random.randrange(6)    # random integer chosen from range(6)
4

statistics 模块可以计算数值数据的基本统计属性(平均值、中值、方差等):

>>> import statistics
>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(data)
1.6071428571428572
>>> statistics.median(data)
1.25
>>> statistics.variance(data)
1.3720238095238095

SciPy 项目对数字计算提供了许多别等模块。

网络访问

有许多模块可以访问互联网和处理互联网协议。最简单的两个是用于从 URL 检索数据的 urllib.request 以及用于发送邮件的 smtplib:

>>> from urllib.request import urlopen
>>> with urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl') as response:
...     for line in response:
...         line = line.decode('utf-8')  # Decoding the binary data to text.
...         if 'EST' in line or 'EDT' in line:  # look for Eastern Time
...             print(line)

<BR>Nov. 25, 09:43:32 PM EST

>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
... """To: jcaesar@example.org
... From: soothsayer@example.org
...
... Beware the Ides of March.
... """)
>>> server.quit()

注意第二个例子需要一个运行在 localhost 上的邮件服务器。

日期和时间

datetime 模块提供了以简单和复杂的方式操作日期和时间的类。虽然支持日期和时间算法,但实现的重点是对输出的格式化和操作提取有效成员。该模块还支持时区对象的处理。

>>> # dates are easily constructed and formatted
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

>>> # dates support calendar arithmetic
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368

数据压缩

模块 zlib, gzip, bz2, lzma, zipfile 和 tarfile 直接支持通用的数据打包和压缩格式。

>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)
>>> len(t)
37
>>> zlib.decompress(t)
b'witch which has which witches wrist watch'
>>> zlib.crc32(s)
226805979

性能度量

Python 提供了一个工具用来度量同一个问题的两种不同解决方式的性能差异。

例如,使用元组的 packing 和 unpacking 特性代替传统方法来交换参数可能更有吸引力。timeit 模块能迅速展示其适度的性能优势:

>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791

与 timeit 的精细粒度相比,profile 和 pstats 模块提供了针对更大代码块的耗时代码段的识别工具。

质量控制

开发高质量软件的方法之一是在开发每个函数时为其编写测试代码,并在开发过程中经常运行这些测试。

doctest 模块提供了一个用于扫描模块并验证嵌入在程序文档字符串中测试代码的工具。测试结构就像剪切并粘贴一个一般调用及其结果到文档字符串中一样简单。这样为用户提供一个示例从而改进了文档,并允许 doctest 模块确保该代码始终符合文档:

def average(values):
    """Computes the arithmetic mean of a list of numbers.

    >>> print(average([20, 30, 70]))
    40.0
    """
    return sum(values) / len(values)

import doctest
doctest.testmod()   # automatically validate the embedded tests

unittest 模块不像 doctest 模块那么容易使用,不过它允许在单独的文件中维护一个更全面的测试集:

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):
        self.assertEqual(average([20, 30, 70]), 40.0)
        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
        with self.assertRaises(ZeroDivisionError):
            average([])
        with self.assertRaises(TypeError):
            average(20, 30, 70)

unittest.main()  # Calling from the command line invokes all tests

开箱即用

Python 体现了“batteries included”的哲学思想,其更大的包所表出的复杂和健壮能力是该思想的最佳体现。例如:

  • xmlrpclib 和 SimpleXMLRPCServer 模块把实现远程过程调用变成了几乎微不足道的任务。尽管其模块名中有 XML,但用户可以不必了解 XML 直接相关的知识,也不必自己处理 XML。
  • email 包是一个管理邮件消息的库,包括 MIME 及其它基于 RFC 2822 的消息文档。与实际上发送和接收消息的 smtplib 和 poplib 不同,email 包有一个用于构建或解码复杂消息结构(包括附件)以及实现网络编码和头部协议的完整工具集。
  • json 包为解析这种流行的数据交换格式提供了强大的支持。csv 模块支持用逗号分隔的值格式直接读取和写入文件,通常用于数据库和电子表格。xml.etree.ElementTree、xml.dom 和 xml.sax 软件包支持 XML 处理。这些模块和包一起极大地简化了 Python 应用和其他工具之间的数据交换。
  • sqlite3 模块是对 SQLite 数据库工具库的包装,它提供了一个持久化的数据库,可以使用非严格标准的 SQL 语法对其进行更新和访问。
  • 许多模块都支持国际化,包括 gettext, locale 和 codecs 包。