python系统编码-稍后更新

精选转载

拾瓦兴阁 2016-03-03 17:01:10

文章标签 python encode decode 文章分类 Python 后端开发

安装IDLE (Python GUI)时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，python没办法处理非ascii编码的，此时需要自己设置将python的默认编码，一般设置为utf8的编码格式。

查询系统默认编码可以在解释器中输入以下命令

sys.getdefaultencoding()

设置默认编码时：

sys.setdefaultencoding('utf8')

可能会报AttributeError: 'module' object has no attribute 'setdefaultencoding'的错误，执行reload(sys)，在执行以上命令就可以顺利通过。

此时在执行sys.getdefaultencoding()就会发现编码已经被设置为utf8的了，但是在解释器里修改的编码只能保证当次有效，在重启解释器后，会发现，编码又被重置为默认的ascii了，那么有没有办法一次性修改程序或系统的默认编码呢。

1.（建议）python的Lib\site-packages文件夹下新建一个sitecustomize.py。内容为：

此时重启python解释器，执行sys.getdefaultencoding()，发现编码已经被设置为utf8的了，多次重启之后，效果相同，这是因为系统在python启动的时候，自行调用该文件，设置系统的默认编码，而不需要每次都手动的加上解决代码，属于一劳永逸的解决方法。

2.在程序中加入以下代码：

import sys
reload(sys)
sys.setdefaultencoding('utf8')

另外有一种解决方案是在程序中所有涉及到编码的地方，强制编码为utf8，即添加代码encode("utf8")，这种方法并不推荐使用，因为一旦少写一个地方，将会导致大量的错误报告，我曾经遇到这种情况，错误日志压缩之后尚有70多K，全都是这一个问题，让人有很崩溃的感觉

python编译器，有多种，本人目前常用Eclipse+pyde，效果还好，编码问题不大，用codecs及decode、encode可以解决大部分。另外要注意，在字符串前面加u或者r,转为unicode编码或者转义，缺少u或者r，不清楚编码真的很头疼。

最近利用python抓取一些网上的数据，遇到了编码的问题。非常头痛，总结一下用到的解决方案。

linux中vim下查看文件编码的命令 set fileencoding
python中一个强力的编码检测包 chardet ，使用方法非常简单。linux下利用pip install chardet实现简单安装

　fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ，只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

了解python中str的编码后可以利用decode和encode来实现编码的转换。

一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型，然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型，如下。

一般情况下window默认编码gbk，linux默认编码utf8
python编程中系统编码，python编码，文件编码的概念。

系统编码：默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

python编码：指python内设置的解码方式。如果不设定的话，python默认的是ascii解码方式。如果python源代码文件中不出现中文的话，这个地方怎么设定应该不会问题。

设定方法：在源码文件开头（一定是第一行）：#-*-coding:UTF-8-*-，源码文件的设置解码方式是UTF-8 或者

文件编码：文本的编码方式，linux下vim利用set fileencoding查看。

一般情况下输出乱码的原因就是没有按照系统解码的方式进行编码。

比如print s, s类型为str，linux系统下系统默认编码为utf8编码，s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。

window下面情况相同，window默认编码为gbk编码，所以s输出前必须编码为gbk。

python处理中一般处理unicode类型。这样输出前直接编码即可。

一、首先，请选择python3.x最新版本。

因为最新版本的编码问题相对于之前的2.0版本要好不少。

二、在编写程序代码时，习惯性地在代码开始处加上下面的语句。

默认地，python的.py文件以标准的7位ASCII码存储，而不是unicode格式的，然而如果有的时候用户需要在.py文件中包含很多的 unicode字符，例如.py文件中需要包含中文的字符串，这时可以在.py文件的第一行或第二行增加encoding注释来将.py文件指定为 unicode格式。

#!/usr/bin/env python #设置Python解释器
# -*- coding: UTF-8 -*- #声明文件编码为utf-8

s = "中国" # String in quotes is directly encoded in UTF-8.

三、编写完代码，把代码存储成.py文件时确保文件编码与声明一致。

当你编写完代码，把代码存储成.py文件时，一定要将文件编码设为与开头的文件编码声明一致的编码（如：声明为# -*- coding: UTF-8 -*-，则可以通过使用notepad++等软件指定.py文件为utf-8编码）。

#获取文件的默认编码

import sys

print(sys.getdefaultencoding())

#设置python文件的编码

#encoding=uft-8

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

四、python3.2版本中对文件的读写操作都要指明编码。

参考代码如下：
f =  open("1.txt","r",encoding="utf-8")

当然也可以使用codecs包进行文件的读取，在使用open（）函数时指定编码的类型：

import codecs

f=codecs.open('123.txt','r+',encoding='utf-8)

五、python3.2版本中对于要读取的文件，如果文件的编码并不知道，可以先使用chardet（第三方库，需要下载）来进行判断，然后再根据判断所得的文件编码类型，指定文件的编码类型来进行文件的读取操作。

参考代码如下：
file =  open(fileName, "rb")#要有"rb"，如果没有这个的话，默认使用gbk读文件。
buf = file.read()
result = chardet.detect(buf)
file = open(fileName,"r",encoding=result["encoding"])
content = file.readlines()

使用中，chardet.detect()返回字典，其中confidence是检测精确度，encoding是编码形式

（1）网页编码判断：

>>> import urllib
>>> rawdata = urllib.urlopen('http://www.google.cn/').read()
>>> import chardet
>>> chardet.detect(rawdata)

检测的结果是：{'confidence': 0.98999999999999999, 'encoding': 'GB2312'}

（2）文件编码判断

import chardet
tt=open('c:\\111.txt','rb')
ff=tt.readline()#这里试着换成read(5)也可以，但是换成readlines()后报错
enc=chardet.detect(ff)
print enc['encoding']
tt.close()

另外为了提高探测速度，可使用如下方式：
detector = UniversalDetector()
for line in f.readlines():
      detector.feed(line)
      if detector.done:
          break
detector.close()
detector.result

（3）字符串编码的判断

isinstance(s,str) 用来判断是否为一般字符串

isinstance（s,unicode) 用来判断是否为unicode

或者:

if type(str).__name__!="unicode":

str=unicode(str,"utf-8")

else:

pass.

Python的encode和decode的用法：

无论是在python2.0还是在python3.0中，在做编码转换时，都通常以unicode做为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

一、Python2.0

decode encode