一:学习内容

  • python编码转换
  • python乱码原因深入解析

 

二:python编码转换

1. Python内部字符串一般都是Unicode编码,代码中字符串的默认编码与代码文件本身的编码是一致的。

2. Python编码转换通常是要以unicode作为中间编码进行转换的,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

3. Python编码转换实例:gbk存储的字符—>decode('gbk')—>unicode—>encode('utf-8')

 

编码转换流程解析如下:

a.  decode的作用是将其他编码的字符串转换成unicode编码。

例如:name.decode('GB2312'),表示将GB2312编码的字符串name转换成unicode编码。

b.  encode的作用是将unicode编码转换成其他编码的字符串。

例如:name.encode('GB2312'),表示将unicode字符串name转换成GB2312编码。

c.  进行编码转换的时候必须先知道name是哪种编码,然后decode成unicode编码,最后在encode成需要的编码。

d.  name已经就是unicode编码了,那么就不需要进行decode进行解码转换了,直接用encode就可以编码成你所需要的编码。

 

三:python乱码原因剖析

1. raw_input("请输入字符串".decode('utf-8').encode('gbk')),正常输出

python 文件utf8转gbk python转换编码utf_字符串

可以看到这里打印是正确的,不会乱码。

原因:上面我已经学习了python编码转换,必须要用unicode作为中间码来转换,此处文件是utf-8,而cmd默认编码为gbk,所以我们中文需要先解码成unicode(decode('utf-8')),在编码成gbk(encode('gbk'))就可以正常显示了

 

2. raw_input(u"请输入字符串".decode('utf-8').encode('gbk')),输出报错

python 文件utf8转gbk python转换编码utf_json_02

因为加上u的意思是解码成unicode,此时你又执行了解码. decode('utf-8')就会报错。.decode('utf-8')的作用就是u’中文’解码成unicode。

 

3. print u"中文",打印正常中文

对于字符串的打印,python的逻辑为:

a.  如果是unicode字符串,则可以自动编码为终端所用编码,然后正确显示出来。

比如u’中文’即将’中文’转换为unicode字符,输出到windows默认编码的gbk的cmd中,则python可以自动的将unicode编码为gbk,然后输出到cmd中

print u’中文’的效果类似于

 

需要注意的是:你所要打印出来的字符,虽然是unicode,但是其中如果包含了某些特殊字符,而对应的特殊字符在终端所用的编码中不存在,比如将含某些特殊字符的Unicode字符串,打印到windows的默认编码为GBK的cmd中,而GBK编码集合中,本身就没有这些字符,所以,当然也是无法显示,会出现对应的UnicodeEncodeError的错误的。

 

b.  如果是某种编码类型的str,则需要将该str的编码类型和目标终端匹配。

比如gbk的字符串,输出到windows默认编码为gbk的cmd中,就不会乱码。

字符串的类型也就是我们上面说的是字符串的编码,是由文件所用的实际编码决定的,即文件保存为什么编码格式的字符串就是什么编码格式。如:文件声明为#encoding=utf-8,文件保存为gbk,则文件中字符串格式为gbk。

 

比如utf-8字符串,输出到windows默认编码为gbk的cmd中,就会乱码,我们需要将该utf-8字符串.decode('utf-8')即解码为unicode编码,然后.encode('gbk')(注意:此处不进行.encode('gbk')也可以,因为上面说了print打印系统可以自动将unicode编码为终端所用编码)才能在cmd中正常输出。字符的编码和解码,要求解码的字符串与当前字符串的编码(文件保存为什么类型字符串编码就是什么类型)一致。

即windows默认情况下cmd的输出中:

print u'中文' == print '中文'.decode('utf-8') == print '中文'.decode('utf-8').encode('gbk')

 

3. 输出字典中的中文

我们知道字典中如果有中文,一般打印出来都是显示的存储的编码模式:

python 文件utf8转gbk python转换编码utf_ico_03

不能显示成中文,可以用如下办法来打印整个字典并让中文正常显示:

#encoding=utf-8
import json
a={u'测试':0,u'开发':0}
dic={}
for i in a:
    dic[i]=0
print json.dumps(dic,ensure_ascii=False,encoding='utf-8')

python 文件utf8转gbk python转换编码utf_字符串_04

这样就能显示成中文了。