PS:Python之所以自称“batteries included”,就是因为内置了许多非常有用的模块,无需额外安装和配置,即可直接使用。下面就来看看一些常用的内建模块

datetime

dateime是Python中处理日期和时间的标准库。

 获取当前日期和时间

>>> from datetime import datetime
>>> now = datetime.now() # 获取当前的时间
>>> print(now)
2018-05-06 18:18:41.431549
>>> print(type(now))
<class 'datetime.datetime'>

datetime是模块,datetime模块还包含一个datetime类,通过from datetime import datetime导入的才是datetime这个类。 如果仅导入import datetime,则必须引用全名datetime.datetime。 datetime.now()返回当前日期和时间,其类型是datetime。

 获取指定日期和时间

  要指定某个日期和时间,我们直接用参数构造一个datetime:

>>> from datetime import datetime
>>> dt = datetime(2015, 4, 19, 12, 20) #用指定日期时间创建一个datetime
>>> print(dt)
2015-04-19 12:20:00

 datetime转换为timestamp

数字表示的。我们把1970年1月1日 00:00:00 UTC+00:00时区的时刻称为epoch time,记为0(1970年以前的时间timestamp为负数),当前时间就是相对于epoch time的秒数,称为timestamp。

注意:timestamp的值与时区毫无关系,因为timestamp一旦确定,其UTC时间就确定了,转换到任意时区的时间也是完全确定的,这就是为什么计算机存储的当前时间是以timestamp表示的,因为全球各地的计算机在任意时刻的timestamp都是完全相同的(假定时间已校准)。

datetime类型转换为timestamp,只需要调用timestamp()方法:

>>> from datetime import datetime
>>> dt = datetime(2015, 4, 19, 12, 20)
>>> dt.timestamp() #把datetime转换为timestamp
1429417200.0

Tips:Python的timestamp是一个浮点数。如果有小数位,小数位表示毫秒数。某些编程语言(如Java和JavaScript)的timestamp使用整数表示毫秒数,这种情况下只需要把timestamp除以1000就得到Python的浮点表示方法。

 timestamp转换为datetime

fromtimestamp()方法:

>>> from datetime import datetime
>>> t = 1429417200.0
>>> print(datetime.fromtimestamp(t))
2015-04-19 12:20:00

utcfromtimestamp()方法转化成UTC时间:

>>> t = 1429417200.0
>>> print(datetime.utcfromtimestamp(t))
2015-04-19 04:20:00

 str转换为datetime

datetime.strptime()。需要一个日期和时间的格式化字符串

>>> from datetime import datetime
>>> cday = datetime.strptime('2015-6-1 18:19:59', '%Y-%m-%d %H:%M:%S')
>>> print(cday)
2015-06-01 18:19:59

  字符串'%Y-%m-%d %H:%M:%S'规定了日期和时间部分的格式。详细的说明请参考Python文档。

 datetime转换为str

datetime对象,要把它格式化为字符串显示给用户,就需要转换为str,转换方法是通过strftime()实现的,同样需要一个日期和时间的格式化字符串:

>>> from datetime import datetime
>>> now = datetime.now()
>>> print(now.strftime('%a, %b %d %H:%M'))
Sun, May 06 21:54

 datetime加减

datetime往后或往前计算,得到新的datetime。加减可以直接用+和-运算符,不过需要导入timedelta这个类:

>>> from datetime import datetime, timedelta
>>> now = datetime.now()
>>> now
datetime.datetime(2018, 5, 7, 8, 39, 26, 14014)
>>> now + timedelta(hours=10)
datetime.datetime(2018, 5, 7, 18, 39, 26, 14014)
>>> pre = now - timedelta(days=2, hours=12)
>>> print(pre)
2018-05-04 20:39:26.014014

 本地时间转换为UTC时间格式

datetime类型的时区属性tzinfo,但是默认为None,所以需要自己设置:

>>> from datetime import datetime, timedelta, timezone
>>> tz_utc_8 = timezone(timedelta(hours=8)) #创建时区UTC+8:00
>>> now = datetime.now()
>>> da = now.replace(tzinfo=tz_utc_8) #强制设置为UTC+8:00
>>> print(da)
2018-05-07 08:53:23.570143+08:00

 时区转换

utcnow()拿到当前的UTC时间,再转换为任意时区的时间:

>>> utc_dt = datetime.utcnow().replace(tzinfo=timezone.utc) #UTC:时区为0
>>> bj_dt = utc_dt.astimezone(timezone(timedelta(hours=8))) #北京时区
>>> print(bj_dt)
2018-05-07 09:06:54.443310+08:00
>>> tokyo_dt = utc_dt.astimezone(timezone(timedelta(hours=9))) #用utc_dt转换为东京时区
>>> print(tokyo_dt)
2018-05-07 10:06:54.443310+09:00
>>> tokyo_dt = bj_dt.astimezone(timezone(timedelta(hours=9))) #用bj_dt转换为东京时区
>>> print(tokyo_dt)
2018-05-07 10:06:54.443310+09:00

Tips:时区转换的关键在于,拿到一个datetime时,要获知其正确的时区,然后强制设置时区,作为基准时间。 利用带时区的datetime,通过astimezone()方法,可以转换到任意时区。 注:不是必须从UTC+0:00时区转换到其他时区,任何带时区的datetime都可以正确转换,例如上述bj_dt到tokyo_dt的转换。

   小结:datetime表示的时间需要时区信息才能确定一个特定的时间,否则只能视为本地时间。 如果要存储datetime,最佳方法是将其转换为timestamp再存储,因为timestamp的值与时区完全无关

collections

collections是Python内建的一个集合模块,提供了许多有用的集合类。

 namedtuple

namedtuple函数来创建一个自定义的tuple对象,并且规定了tuple元素的个数,并可以用属性而不是索引来引用tuple的某个元素

>>> from collections import namedtuple
>>> Point = namedtuple('Point', ['x', 'y'])
>>> p = Point(1, 2)
>>> p.x
1
>>> p.y
2

  注:创建出来的Point对象是tuple的一个子类,可以用isinstance()来验证。

 deque

list存储数据时,按索引访问元素很快,但是插入和删除元素就很慢了,因为list是线性存储,数据量大的时候,插入和删除效率很低。 deque是为了高效实现插入和删除操作的双向列表,适合用于队列和栈

>>> from collections import deque
>>> q = deque(['a', 'b', 'c'])
>>> q.append('x')
>>> q.appendleft('y')
>>> q
deque(['y', 'a', 'b', 'c', 'x'])

deque除了实现list的append()和pop()外,还支持appendleft()和popleft(),这样就可以非常高效地往头部添加或删除元素。

 defaultdict

dict时,如果引用的Key不存在,就会抛出KeyError。如果希望key不存在时,返回一个默认值,就可以用defaultdict:

>>> from collections import defaultdict
>>> dd = defaultdict(lambda: 'N/A')
>>> dd['k1'] = 'a'
>>> dd['k1']
'a'
>>> dd['k2']
'N/A'

 OrderedDict

dict时,Key是无序的。在对dict做迭代时,我们无法确定Key的顺序。 如果要保持Key的顺序(按照插入顺序),可以用OrderedDict:

>>> from collections import OrderedDict
>>> d = dict([('a', 1), ('b', 2), ('c', 3)])
>>> d  #dict是无序的
{'b': 2, 'a': 1, 'c': 3} 
>>> od = OrderedDict([('a', 1), ('b', 2), (3, 'c')])
>>> od   #Ordered的Dict的key是有序的
OrderedDict([('a', 1), ('b', 2), (3, 'c')])

OrderedDict就可以实现一个FIFO(先进先出)的dict(类似队列),当容量超出限制时,先删除最早添加的Key:

from collections import OrderedDict

class LastUpdateOrderedDict(OrderedDict):

    def __init__(self, capacity):
        super(LastUpdateOrderedDict,self).__init__() #调用父类
        self._capacity = capacity

    def __setitem__(self, key, value):
        containsKey = 1 if key in self else 0
        if len(self) - containsKey >= self._capacity:
            last = self.popitem(last=False)
            print('remove:', last)

        if containsKey:
            del self[key]  #delete previous
            print('set:', (key, value))
        else:
            print('add:', (key, value))
        OrderedDict.__setitem__(self, key, value)

 Counter

  Counter实际上也是dict的一个子类,是一个简单的计数器,例如,统计字符出现的个数:

>>> from collections import Counter
>>> c = Counter()
>>> for ch in 'Programming':
...     c[ch] = c[ch] + 1
... 
>>> c
Counter({'m': 2, 'r': 2, 'g': 2, 'n': 1, 'o': 1, 'a': 1, 'i': 1, 'P': 1})

base64

64个字符来表示任意二进制数据的方法。Base64编码会把3字节的二进制数据编码为4字节的文本数据,长度增加33%,好处是编码后的文本数据可以在邮件正文、网页等直接显示

>>> import base64
>>> base64.b64encode(b'binary\x00string')
b'YmluYXJ5AHN0cmluZw=='
>>> base64.b64decode(b'YmluYXJ5AHN0cmluZw==')
b'binary\x00string'

struct

  Python没有专门处理字节的数据类型。但由于b'str'可以表示字节,所以,字节数组=二进制str。

struct的pack函数可以把任意数据类型变成bytes:  

>>> import struct
>>> struct.pack('>I', 10240099) 
b'\x00\x9c@c'

>I'的意思是: >表示字节顺序是big-endian,也就是网络序,I表示4字节无符号整数。 后面的参数个数要和处理指令一致。

unpack把bytes变成相应的数据类型:

>>> struct.unpack('>IH', b'\xf0\xf0\xf0\xf0\x80\x80')
(4042322160, 32896)

>IH的说明,后面的bytes依次变为I:4字节无符号整数和H:2字节无符号整数。 所以,尽管Python不适合编写底层操作字节流的代码,但在对性能要求不高的地方,利用struct就方便多了。