PS:Python之所以自称“batteries included”,就是因为内置了许多非常有用的模块,无需额外安装和配置,即可直接使用。下面就来看看一些常用的内建模块。
datetime
dateime是Python中处理日期和时间的标准库。
获取当前日期和时间
>>> from datetime import datetime
>>> now = datetime.now() # 获取当前的时间
>>> print(now)
2018-05-06 18:18:41.431549
>>> print(type(now))
<class 'datetime.datetime'>
datetime是模块,datetime模块还包含一个datetime类,通过from datetime import datetime导入的才是datetime这个类。 如果仅导入import datetime,则必须引用全名datetime.datetime。 datetime.now()返回当前日期和时间,其类型是datetime。
获取指定日期和时间
要指定某个日期和时间,我们直接用参数构造一个datetime:
>>> from datetime import datetime
>>> dt = datetime(2015, 4, 19, 12, 20) #用指定日期时间创建一个datetime
>>> print(dt)
2015-04-19 12:20:00
datetime转换为timestamp
数字表示的。我们把1970年1月1日 00:00:00 UTC+00:00时区的时刻称为epoch time,记为0(1970年以前的时间timestamp为负数),当前时间就是相对于epoch time的秒数,称为timestamp。
注意:timestamp的值与时区毫无关系,因为timestamp一旦确定,其UTC时间就确定了,转换到任意时区的时间也是完全确定的,这就是为什么计算机存储的当前时间是以timestamp表示的,因为全球各地的计算机在任意时刻的timestamp都是完全相同的(假定时间已校准)。
datetime类型转换为timestamp,只需要调用timestamp()方法:
>>> from datetime import datetime
>>> dt = datetime(2015, 4, 19, 12, 20)
>>> dt.timestamp() #把datetime转换为timestamp
1429417200.0
Tips:Python的timestamp是一个浮点数。如果有小数位,小数位表示毫秒数。某些编程语言(如Java和JavaScript)的timestamp使用整数表示毫秒数,这种情况下只需要把timestamp除以1000就得到Python的浮点表示方法。
timestamp转换为datetime
fromtimestamp()方法:
>>> from datetime import datetime
>>> t = 1429417200.0
>>> print(datetime.fromtimestamp(t))
2015-04-19 12:20:00
utcfromtimestamp()方法转化成UTC时间:
>>> t = 1429417200.0
>>> print(datetime.utcfromtimestamp(t))
2015-04-19 04:20:00
str转换为datetime
datetime.strptime()。需要一个日期和时间的格式化字符串:
>>> from datetime import datetime
>>> cday = datetime.strptime('2015-6-1 18:19:59', '%Y-%m-%d %H:%M:%S')
>>> print(cday)
2015-06-01 18:19:59
字符串'%Y-%m-%d %H:%M:%S'规定了日期和时间部分的格式。详细的说明请参考Python文档。
datetime转换为str
datetime对象,要把它格式化为字符串显示给用户,就需要转换为str,转换方法是通过strftime()实现的,同样需要一个日期和时间的格式化字符串:
>>> from datetime import datetime
>>> now = datetime.now()
>>> print(now.strftime('%a, %b %d %H:%M'))
Sun, May 06 21:54
datetime加减
datetime往后或往前计算,得到新的datetime。加减可以直接用+和-运算符,不过需要导入timedelta这个类:
>>> from datetime import datetime, timedelta
>>> now = datetime.now()
>>> now
datetime.datetime(2018, 5, 7, 8, 39, 26, 14014)
>>> now + timedelta(hours=10)
datetime.datetime(2018, 5, 7, 18, 39, 26, 14014)
>>> pre = now - timedelta(days=2, hours=12)
>>> print(pre)
2018-05-04 20:39:26.014014
本地时间转换为UTC时间格式
datetime类型的时区属性tzinfo,但是默认为None,所以需要自己设置:
>>> from datetime import datetime, timedelta, timezone
>>> tz_utc_8 = timezone(timedelta(hours=8)) #创建时区UTC+8:00
>>> now = datetime.now()
>>> da = now.replace(tzinfo=tz_utc_8) #强制设置为UTC+8:00
>>> print(da)
2018-05-07 08:53:23.570143+08:00
时区转换
utcnow()拿到当前的UTC时间,再转换为任意时区的时间:
>>> utc_dt = datetime.utcnow().replace(tzinfo=timezone.utc) #UTC:时区为0
>>> bj_dt = utc_dt.astimezone(timezone(timedelta(hours=8))) #北京时区
>>> print(bj_dt)
2018-05-07 09:06:54.443310+08:00
>>> tokyo_dt = utc_dt.astimezone(timezone(timedelta(hours=9))) #用utc_dt转换为东京时区
>>> print(tokyo_dt)
2018-05-07 10:06:54.443310+09:00
>>> tokyo_dt = bj_dt.astimezone(timezone(timedelta(hours=9))) #用bj_dt转换为东京时区
>>> print(tokyo_dt)
2018-05-07 10:06:54.443310+09:00
Tips:时区转换的关键在于,拿到一个datetime时,要获知其正确的时区,然后强制设置时区,作为基准时间。 利用带时区的datetime,通过astimezone()方法,可以转换到任意时区。 注:不是必须从UTC+0:00时区转换到其他时区,任何带时区的datetime都可以正确转换,例如上述bj_dt到tokyo_dt的转换。
小结:datetime表示的时间需要时区信息才能确定一个特定的时间,否则只能视为本地时间。 如果要存储datetime,最佳方法是将其转换为timestamp再存储,因为timestamp的值与时区完全无关。
collections
collections是Python内建的一个集合模块,提供了许多有用的集合类。
namedtuple
namedtuple函数来创建一个自定义的tuple对象,并且规定了tuple元素的个数,并可以用属性而不是索引来引用tuple的某个元素。
>>> from collections import namedtuple
>>> Point = namedtuple('Point', ['x', 'y'])
>>> p = Point(1, 2)
>>> p.x
1
>>> p.y
2
注:创建出来的Point对象是tuple的一个子类,可以用isinstance()来验证。
deque
list存储数据时,按索引访问元素很快,但是插入和删除元素就很慢了,因为list是线性存储,数据量大的时候,插入和删除效率很低。 deque是为了高效实现插入和删除操作的双向列表,适合用于队列和栈:
>>> from collections import deque
>>> q = deque(['a', 'b', 'c'])
>>> q.append('x')
>>> q.appendleft('y')
>>> q
deque(['y', 'a', 'b', 'c', 'x'])
deque除了实现list的append()和pop()外,还支持appendleft()和popleft(),这样就可以非常高效地往头部添加或删除元素。
defaultdict
dict时,如果引用的Key不存在,就会抛出KeyError。如果希望key不存在时,返回一个默认值,就可以用defaultdict:
>>> from collections import defaultdict
>>> dd = defaultdict(lambda: 'N/A')
>>> dd['k1'] = 'a'
>>> dd['k1']
'a'
>>> dd['k2']
'N/A'
OrderedDict
dict时,Key是无序的。在对dict做迭代时,我们无法确定Key的顺序。 如果要保持Key的顺序(按照插入顺序),可以用OrderedDict:
>>> from collections import OrderedDict
>>> d = dict([('a', 1), ('b', 2), ('c', 3)])
>>> d #dict是无序的
{'b': 2, 'a': 1, 'c': 3}
>>> od = OrderedDict([('a', 1), ('b', 2), (3, 'c')])
>>> od #Ordered的Dict的key是有序的
OrderedDict([('a', 1), ('b', 2), (3, 'c')])
OrderedDict就可以实现一个FIFO(先进先出)的dict(类似队列),当容量超出限制时,先删除最早添加的Key:
from collections import OrderedDict
class LastUpdateOrderedDict(OrderedDict):
def __init__(self, capacity):
super(LastUpdateOrderedDict,self).__init__() #调用父类
self._capacity = capacity
def __setitem__(self, key, value):
containsKey = 1 if key in self else 0
if len(self) - containsKey >= self._capacity:
last = self.popitem(last=False)
print('remove:', last)
if containsKey:
del self[key] #delete previous
print('set:', (key, value))
else:
print('add:', (key, value))
OrderedDict.__setitem__(self, key, value)
Counter
Counter实际上也是dict的一个子类,是一个简单的计数器,例如,统计字符出现的个数:
>>> from collections import Counter
>>> c = Counter()
>>> for ch in 'Programming':
... c[ch] = c[ch] + 1
...
>>> c
Counter({'m': 2, 'r': 2, 'g': 2, 'n': 1, 'o': 1, 'a': 1, 'i': 1, 'P': 1})
base64
64个字符来表示任意二进制数据的方法。Base64编码会把3字节的二进制数据编码为4字节的文本数据,长度增加33%,好处是编码后的文本数据可以在邮件正文、网页等直接显示。
>>> import base64
>>> base64.b64encode(b'binary\x00string')
b'YmluYXJ5AHN0cmluZw=='
>>> base64.b64decode(b'YmluYXJ5AHN0cmluZw==')
b'binary\x00string'
struct
Python没有专门处理字节的数据类型。但由于b'str'可以表示字节,所以,字节数组=二进制str。
struct的pack函数可以把任意数据类型变成bytes:
>>> import struct
>>> struct.pack('>I', 10240099)
b'\x00\x9c@c'
>I'的意思是: >表示字节顺序是big-endian,也就是网络序,I表示4字节无符号整数。 后面的参数个数要和处理指令一致。
unpack把bytes变成相应的数据类型:
>>> struct.unpack('>IH', b'\xf0\xf0\xf0\xf0\x80\x80')
(4042322160, 32896)
>IH的说明,后面的bytes依次变为I:4字节无符号整数和H:2字节无符号整数。 所以,尽管Python不适合编写底层操作字节流的代码,但在对性能要求不高的地方,利用struct就方便多了。