Unicode编码

1. Unicode把所有语言都统一到一套编码里

2. 最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)

3. ASCII编码是1个字节,而Unicode编码通常是2个字节。

UTF-8编码(可变长编码)

1. UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节

2. 常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。(如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间)

总结:

1. 在计算机内存中,统一使用Unicode编码

2. 当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。

python的字符串( 字符串是以Unicode编码的,Python的字符串支持多语言 )

1. Python提供了ord()和chr()函数,可以把字母和对应的数字相互转换:

>>> ord('A')

65

>>> ord('中') 20013

>>> chr(66)

'B'

>>> chr(25991) '文'

2. 以Unicode编码表示的字符串用u'...'表示,例如:

>>> print u'中文'

中文

>>> u'中'

u'\u4e2d' // 写u'中'和u'\u4e2d'是一样的,\u后面是十六进制的Unicode码。因此,u'A'和u'\u0041'也是一样的。

//两种字符串如何相互转换?字符串'xxx'虽然是ASCII编码,但也可以看成是UTF-8编码,而u'xxx'则只能是Unicode编码

3. 把u'xxx'转换为UTF-8编码的'xxx'用encode('utf-8')方法:

>>> u'ABC'.encode('utf-8') 

 

  'ABC' 

 

  >>> u'中文'.encode('utf-8') 

 

  '\xe4\xb8\xad\xe6\x96\x87'



英文字符转换后表示的UTF-8的值和Unicode值相等(但占用的存储空间不同),而中文字符转换后1个Unicode字符将变为3个UTF-8字符,你看到的 \xe4 就是其中一个字节,因为它的值是 228 ,没有对应的字母可以显示,所以以十六进制显示字节的数值。 len() 函数可以返回字符串的长度:

>>>  
 len( 
 u'ABC' 
 ) 
 3 
  
 >>>  
 len( 
 'ABC' 
 ) 
 3 
  
 >>>  
 len( 
 u'中文' 
 ) 
 2 
  
 >>>  
 len( 
 '\xe4\xb8\xad\xe6\x96\x87' 
 ) 
 6


反过来,把UTF-8编码表示的字符串 'xxx' 转换为Unicode字符串 u'xxx' 用 decode('utf-8') 方法:

>>>  
 'abc' 
 .decode( 
 'utf-8' 
 ) 
 u'abc' 
  
 >>>  
 '\xe4\xb8\xad\xe6\x96\x87' 
 .decode( 
 'utf-8' 
 ) 
 u'\u4e2d\u6587' 
  
 >>>  
 print 
   
 '\xe4\xb8\xad\xe6\x96\x87' 
 .decode( 
 'utf-8' 
 )中文





有些时候,字符串里面的 % 是一个普通字符怎么办?这个时候就需要转义,用 %% 来表示一个 %


>>> 'growth rate: %d %%' % 7 'growth rate: 7 %'



小结:


由于历史遗留问题,Python 2.x版本虽然支持Unicode,但在语法上需要 'xxx' 和 u'xxx' 两种字符串表示方式。


Python当然也支持其他编码方式,比如把Unicode编码成GB2312:

>>>  
 u'中文' 
 .encode( 
 'gb2312' 
 ) 
 '\xd6\xd0\xce\xc4'