安装IDLE (Python GUI)时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128),python没办法处理非ascii编码的,此时需要自己设置将python的默认编码,一般设置为utf8的编码格式。

查询系统默认编码可以在解释器中输入以下命令

sys.getdefaultencoding()

设置默认编码时:

sys.setdefaultencoding('utf8')

可能会报AttributeError: 'module' object has no attribute 'setdefaultencoding'的错误,执行reload(sys),在执行以上命令就可以顺利通过。

此时在执行sys.getdefaultencoding()就会发现编码已经被设置为utf8的了,但是在解释器里修改的编码只能保证当次有效,在重启解释器后,会发现,编码又被重置为默认的ascii了,那么有没有办法一次性修改程序或系统的默认编码呢。

1.(建议)python的Lib\site-packages文件夹下新建一个sitecustomize.py。内容为:

此时重启python解释器,执行sys.getdefaultencoding(),发现编码已经被设置为utf8的了,多次重启之后,效果相 同,这是因为系统在python启动的时候,自行调用该文件,设置系统的默认编码,而不需要每次都手动的加上解决代码,属于一劳永逸的解决方法。

2.在程序中加入以下代码:

import sys
reload(sys)
sys.setdefaultencoding('utf8')

另外有一种解决方案是在程序中所有涉及到编码的地方,强制编码为utf8,即添加代码encode("utf8"),这种方法并不推荐使用,因为一 旦少写一个地方,将会导致大量的错误报告,我曾经遇到这种情况,错误日志压缩之后尚有70多K,全都是这一个问题,让人有很崩溃的感觉

python编译器,有多种,本人目前常用Eclipse+pyde,效果还好,编码问题不大,用codecs及decode、encode可以解决大部分。另外要注意,在字符串前面加u或者r,转为unicode编码或者转义,缺少u或者r,不清楚编码真的很头疼。


最近利用python抓取一些网上的数据,遇到了编码的问题。非常头痛,总结一下用到的解决方案。

  •     linux中vim下查看文件编码的命令 set fileencoding

  •     python中一个强力的编码检测包 chardet ,使用方法非常简单。linux下利用pip install chardet实现简单安装

 fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ,只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

  •       了解python中str的编码后可以利用decode和encode来实现编码的转换。

      一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型,然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型,如下。


  •  一般情况下window默认编码gbk,linux默认编码utf8

  •  python编程中 系统编码,python编码,文件编码 的概念。

     系统编码:默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

     python编码:指python内设置的解码方式。如果不设定的话,python默认的是ascii解码方式。如果python源代码文件中不出现中文的话,这个地方怎么设定应该不会问题。

     设定方法:在源码文件开头(一定是第一行):#-*-coding:UTF-8-*-,源码文件的设置解码方式是UTF-8 或者


 文件编码:文本的编码方式,linux下vim利用set fileencoding查看。

    

  •     一般情况下输出乱码的原因就是 没有按照系统解码的方式进行编码。

    比如print s, s类型为str,linux系统下系统默认编码为utf8编码,s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。

    window下面情况相同,window默认编码为gbk编码,所以s输出前必须编码为gbk。

  •     python处理中一般处理unicode类型。这样输出前直接编码即可。



一、首先,请选择python3.x最新版本。 
  
因为最新版本的编码问题相对于之前的2.0版本要好不少。 
  
二、在编写程序代码时,习惯性地在代码开始处加上下面的语句。 

默 认地,python的.py文件以标准的7位ASCII码存储,而不是unicode格式的,然而如果有的时候用户需要在.py文件中包含很多的 unicode字符,例如.py文件中需要包含中文的字符串,这时可以在.py文件的第一行或第二行增加encoding注释来将.py文件指定为 unicode格式。

#!/usr/bin/env python   #设置Python解释器
# -*- coding: UTF-8 -*-   #声明文件编码为utf-8

s = "中国" # String in quotes is directly encoded in UTF-8. 
  
三、编写完代码,把代码存储成.py文件时确保文件编码与声明一致。 
  
当你编写完代码,把代码存储成.py文件时,一定要将文件编码设为与开头的文件编码声明一致的编码(如:声明为# -*- coding: UTF-8 -*-,则可以通过使用notepad++等软件指定.py文件为utf-8编码)

#获取文件的默认编码

import sys

print(sys.getdefaultencoding()) 

#设置python文件的编码

#encoding=uft-8

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

  
四、python3.2版本中对文件的读写操作都要指明编码。 
  
参考代码如下: 
f =  open("1.txt","r",encoding="utf-8")

当然也可以使用codecs包进行文件的读取,在使用open()函数时指定编码的类型:

import codecs

f=codecs.open('123.txt','r+',encoding='utf-8) 
  
五、python3.2版本中对于要读取的文件,如果文件的编码并不知道,可以先使用chardet(第三方库,需要下载)来进行判断,然后再根据判断所得的文件编码类型,指定文件的编码类型来进行文件的读取操作。 
  
参考代码如下: 
file =  open(fileName, "rb")#要有"rb",如果没有这个的话,默认使用gbk读文件。           
buf = file.read()   
result = chardet.detect(buf)   
file = open(fileName,"r",encoding=result["encoding"])   
content = file.readlines() 

 

使用中,chardet.detect()返回字典,其中confidence是检测精确度,encoding是编码形式 
  
(1)网页编码判断: 
  
>>> import urllib 
>>> rawdata = urllib.urlopen('http://www.google.cn/').read() 
>>> import chardet 
>>> chardet.detect(rawdata) 
  
检测的结果是:{'confidence': 0.98999999999999999, 'encoding': 'GB2312'} 
  
(2)文件编码判断 
  
import chardet 
tt=open('c:\\111.txt','rb') 
ff=tt.readline()#这里试着换成read(5)也可以,但是换成readlines()后报错 
enc=chardet.detect(ff) 
print enc['encoding'] 
tt.close() 

另外为了提高探测速度,可使用如下方式
detector = UniversalDetector() 
for line in f.readlines(): 
      detector.feed(line) 
      if detector.done: 
          break 
detector.close() 
detector.result  

(3)字符串编码的判断

    isinstance(s,str) 用来判断是否为一般字符串

    isinstance(s,unicode)  用来判断是否为unicode

或者:

    if type(str).__name__!="unicode":

         str=unicode(str,"utf-8")

    else:

          pass.

Python的encode和decode的用法:

无论是在python2.0还是在python3.0中,在做编码转换时,都通常以unicode做为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

一、Python2.0

          decode                           encode

str--------------------->unicode----------------->str

如:  str=u"中文"   #指定str为unicode类型对象

      uni=str.encode('gb2312')      #unicode编码转换为gb2312编码

二、Python3.0

        在新版的python3.0中,取消了unicode类型,代替它的是使用unicode字符的字符串类型str:

         decode                         encode

bytes------------>str(unicode)----->bytes

注: 代码中的字符串的默认编码与代码文件本身的编码是一致的,如:s=“中文",若在utf8的文件中,该字符串就是utf8编码,此时要进行编码转换,都需 要先用decode方法将其转换为unicode编码,在使用encode方法将其转换成其他编码。在没有指定特定的编码方式时,使用系统默认编码。

s=u"中文"

则该字符串的编码已被指定为unicode了,即python的内部编码,而与文件本身的编码无关。此时,只需要使用encode方法就可以将其转换成指定编码即可。如果字符串已经是unicode时,再进行解码会出错,这是就需要判断其编码方式是否为unicode:

   isinstance(s,unicode)

用非unicode编码形式的str来encode也会报错。

unicode(str,gb2312)与str.decode(gb2312)一样,都将gb2312编码的str转为unicode编码。

python2和python3中str的比较:

python系统编码-稍后更新_python encode decode

python3中的str的转化函数:

python系统编码-稍后更新_python encode decode_02

 

 可能需要str的转化的情况:

python系统编码-稍后更新_python encode decode_03

 可能需要str的转化的情况:

python系统编码-稍后更新_python encode decode_04



无需操作系统直接运行 Python 代码  http://www.linuxidc.com/Linux/2015-05/117357.htm

CentOS上源码安装Python3.4  http://www.linuxidc.com/Linux/2015-01/111870.htm

《Python核心编程 第二版》.(Wesley J. Chun ).[高清PDF中文版] http://www.linuxidc.com/Linux/2013-06/85425.htm

《Python开发技术详解》.( 周伟,宗杰).[高清PDF扫描版+随书视频+代码] http://www.linuxidc.com/Linux/2013-11/92693.htm

Python脚本获取Linux系统信息 http://www.linuxidc.com/Linux/2013-08/88531.htm

Ubuntu下用Python搭建桌面算法交易研究环境 http://www.linuxidc.com/Linux/2013-11/92534.htm

Python 语言的发展简史 http://www.linuxidc.com/Linux/2014-09/107206.htm

Python 的详细介绍请点这里
Python 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2015-06/118734.htm