Python中使用中文的方法

更新时间:2011年02月19日 17:21:11 作者:

python的中文问题一直是困扰新手的头疼问题,这篇文章将给你详细地讲解一下这方面的知识。当然,几乎可以确定的是,在将来的版本中,python会彻底解决此问题,不用我们这么麻烦了。

先来看看python的版本:

>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

(一)用记事本创建一个文件ChineseTest.py,默认ANSI:

s = "中文"
print s

测试一下瞧瞧:

E:\Project\Python\Test>python ChineseTest.py

File "ChineseTest.py", line 1

SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8:

E:\Project\Python\Test>python ChineseTest.py

File "ChineseTest.py", line 1

SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

无济于事。。。

既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:

# coding=gbk

s = "中文"

print s

再试一下:

E:\Project\Python\Test>python ChineseTest.py

中文

正常咯:)

(二)看一看它的长度:

# coding=gbk
s = "中文"
print len(s)

结果:4。

s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。

我们这样写:

# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)

结果:

2

2

2

(三)接着来看看文件的处理:

建立一个文件test.txt,文件格式用ANSI,内容为:

abc中文

用python来读取

# coding=gbk
print open("Test.txt").read()

结果:abc中文

把文件格式改成UTF-8:

结果:abc涓枃

显然,这里需要解码:

# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")

结果:abc中文

上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时,

运行时报错:

Traceback (most recent call last):
File "ChineseTest.py", line 3, in 
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。

因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:

# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

结果:abc中文

(四)一点遗留问题在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢?

第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样?

修改一下源文件:

# coding=utf-8
s = "中文"
print unicode(s, "utf-8")

运行,报错:

Traceback (most recent call last):
File "ChineseTest.py", line 3, in 
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data

显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。

更进一步的例子,如果我们这里转换仍然用gbk:

# coding=utf-8
s = "中文"
print unicode(s, "gbk")

结果:中文

翻阅了一篇英文资料,它大致讲解了python中的print原理:

When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display. <>

To print data reliably, you must know the encoding that this display program expects.

简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。

最后测试:

# coding=utf-8
s = "中文"
print unicode(s, "cp936")

结果:中文

相关文章

python 怎么将中文正确显示 python怎么设置中文_python 怎么将中文正确显示

这篇文章主要介绍了Python实现新浪博客备份的方法,涉及Python正则操作,字符串操作及文本操作的相关技巧,需要的朋友可以参考下2016-04-04

python 怎么将中文正确显示 python怎么设置中文_Python_02

这篇文章主要介绍了Python计算两个日期相差天数的方法,结合简单实例形式分析了Python日期时间的转换与运算相关操作技巧,需要的朋友可以参考下2017-05-05

python 怎么将中文正确显示 python怎么设置中文_Python_03

这篇文章主要介绍了Python如何省略括号方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03

python 怎么将中文正确显示 python怎么设置中文_Python_04

今天小编就为大家分享一篇Python3之简单搭建自带服务器的实例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06

python 怎么将中文正确显示 python怎么设置中文_python_05

在本篇文章里小编给大家整理的是关于python中eval函数作用以及实例代码,需要的朋友们参考下吧。2019-10-10

python 怎么将中文正确显示 python怎么设置中文_ico_06

这篇文章主要介绍了Django高级编程之自定义Field实现多语言,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2019-07-07

python 怎么将中文正确显示 python怎么设置中文_ico_07

这篇文章主要介绍了Python自定义简单图轴简单实例,具有一定借鉴价值,需要的朋友可以参考下2018-01-01

python 怎么将中文正确显示 python怎么设置中文_python_08

这篇文章主要介绍了python探索之BaseHTTPServer-实现Web服务器介绍,小编觉得还是挺不错的,这里分享给大家,供需要的朋友参考。2017-10-10

python 怎么将中文正确显示 python怎么设置中文_python怎么写中文条件_09

这篇文章主要介绍了django Layui界面点击弹出对话框并请求逻辑生成分页的动态表格实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05

python 怎么将中文正确显示 python怎么设置中文_python_10

OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。这篇文章主要介绍了如何用OpenCV -python3实现视频物体追踪,需要的朋友可以参考下2019-12-12