关于乱码的问题,遇到过很多次。尤其是在linux下……要是UTF能一统天下就好了。
以前也碰到过不少的文件名GBK乱码问题,曾经用python写过一个脚本解决,但是今天下了个ZIP的DOS游戏合集,却碰到挺多的问题。
于是又看了看PYTHON中编码的问题(看了又忘)。
我的程序中基本上都是清一色的#coding=utf-8。但是在写入XML的时候,又会遇到UTF的问题。
>>> u = "你好"
>>> u
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> i = u"我好"
>>> i
u'\u6211\u597d'
>>> type(i)
>>> type(u)
可以看出str和unicode是不一样的
>>> i.encode('utf8')
'\xe6\x88\x91\xe5\xa5\xbd'
>>> print i.encode('utf8')
我好
>>> print type(i.encode('utf8'))
搜到的信息是unicode似乎是字符串在计算机中的表示,跟编码无关。
我的理解是:在计算机中,那个字就是那个字,不管他是GBK还是UTF得来的;就好像我的脑子里面有只狗(unicode),他长的就是那样的──至于究竟是哪样的,你不是我,所以你不知道。而我如果要把它表示出来,那么我就要用各种方法,比如用GBK的铅笔画法,或者UTF的油画画法,这样,我脑子里那支unicode的狗就变成了存在于纸上(硬盘)上的那只狗。
而如果某一个人,它只能看懂油画(linux),当它碰到我用铅笔画的狗的时候,那么就产生了乱码。
这个时候,如果叫一个看得懂铅笔画的人(编码程序),先把那支铅笔画的狗,在脑子里面表示出来,再用UTF油画法把它画出来,这样先前那个人(linux),就可以明白了。
所以,当我遇到文件名编码错误的时候,就用这种思维方式来解决:
# 下面的例子中,u是乱码(gbk)
>>> u
'\xd3\xa2\xd0\xdb\xb4\xab\xcb\xb54\xd6\xec\xba\xec\xd1\xa9'
>>> print u
Ӣ�۴�˵4����ѩ
# u是铅笔画
>>> tu = u.decode('gbk')
>>> tu
u'\u82f1\u96c4\u4f20\u8bf44\u6731\u7ea2\u96ea'
# tu已经是脑子里想的那个东西了
>>> ttu = tu.encode('utf8')
>>> ttu
'\xe8\x8b\xb1\xe9\x9b\x84\xe4\xbc\xa0\xe8\xaf\xb44\xe6\x9c\xb1\xe7\xba\xa2\xe9\x9b\xaa'
>>> print ttu
英雄传说4朱红雪
>>> print type(ttu)
# u = u.decode('gbk').encode('utf8')
看起来是件很简单的事情啊,可是今天又碰到点小问题
'gbk' codec can't decode bytes in position xx