用例子详细介绍各种字符集编码转换问题(转)

转载

sunxboy 2023-04-20 07:21:55

文章标签 编程 Windows 字节序 Big 多字节 文章分类 MySQL 数据库

本文背景：<o:p></o:p>

本人在编程时需要匹配字符串，由此想到了如果文件是各种字符编码的话，匹配结果有可能不正确，那么，如何判断不同的字符集？如何在不同字符集之间做转换？对于UNICODE编码逐渐通用的情况下，我们软件人员如何从容应对？本文首先对常用字符集进行总结，然后在字符集的显示及转换上以实例介绍，最后总结了编程中遇到的编码问题。<o:p></o:p>

本文目的：<o:p></o:p>

对字符集编码做详细介绍，关键配以实例讲解，降低问题的复杂度。<o:p></o:p>

本文内容：<o:p></o:p>

1. 常用字符集分类<o:p></o:p>

1.1 简介<o:p></o:p>

· ASCII及其扩展字符集<o:p></o:p>

作用：表语英语及西欧语言。<o:p></o:p>

位数：ASCII是用7位表示的，能表示128个字符；其扩展使用8位表示，表示256个字符。<o:p></o:p>

范围：ASCII从00到7F，扩展从00到FF。<o:p></o:p>

<o:p> </o:p>

· ISO-8859-1字符集<o:p></o:p>

作用：扩展ASCII，表示西欧、希腊语等。<o:p></o:p>

位数：8位，<o:p></o:p>

范围：从00到FF，兼容ASCII字符集。<o:p></o:p>

<o:p> </o:p>

· GB2312字符集<o:p></o:p>

作用：国家简体中文字符集，兼容ASCII。<o:p></o:p>

位数：使用2个字节表示，能表示7445个符号，包括6763个汉字，几乎覆盖所有高频率汉字。<o:p></o:p>

范围：高字节从A1到F7, 低字节从A1到FE。将高字节和低字节分别加上0XA0即可得到编码。<o:p></o:p>

<o:p> </o:p>

· BIG5字符集<o:p></o:p>

作用：统一繁体字编码。<o:p></o:p>

位数：使用2个字节表示，表示13053个汉字。<o:p></o:p>

范围：高字节从A1到F9，低字节从40到7E，A1到FE。<o:p></o:p>

<o:p> </o:p>

· GBK字符集<o:p></o:p>

作用：它是GB2312的扩展，加入对繁体字的支持，兼容GB2312。<o:p></o:p>

位数：使用2个字节表示，可表示21886个字符。<o:p></o:p>

范围：高字节从81到FE，低字节从40到FE。<o:p></o:p>

<o:p> </o:p>

· GB18030字符集<o:p></o:p>

作用：它解决了中文、日文、朝鲜语等的编码，兼容GBK。<o:p></o:p>

位数：它采用变字节表示(1 ASCII，2，4字节)。可表示27484个文字。<o:p></o:p>

范围：1字节从00到7F; 2字节高字节从81到FE，低字节从40到7E和80到FE；4字节第一三字节从81到FE，第二四字节从30到39。<o:p></o:p>

<o:p> </o:p>

· UCS字符集<o:p></o:p>

作用：国际标准 ISO 10646 定义了通用字符集 (Universal Character Set)。它是与UNICODE同类的组织，UCS-2和UNICODE兼容。<o:p></o:p>

位数：它有UCS-2和UCS-4两种格式，分别是2字节和4字节。<o:p></o:p>

范围：目前，UCS-4只是在UCS-2前面加了0x0000。<o:p></o:p>

<o:p> </o:p>

· UNICODE字符集<o:p></o:p>

作用：为世界650种语言进行统一编码，兼容ISO-8859-1。<o:p></o:p>

位数：UNICODE字符集有多个编码方式，分别是UTF-8，UTF-16和UTF-32。<o:p></o:p>

UTF-8：采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示，网络传输, 即使错了一个字节，不影响其他字节，而双字节只要一个错了，其他也错了，具体如下：<o:p></o:p>

如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的字节数，其余各字节均以10开头。UTF-8最多可用到6个字节。<o:p></o:p>

<o:p> </o:p>

UTF-16：采用2字节，Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。从 0x0000到0x007F是ASCII字符，从0x0080到0x00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0x0370到0x03FF 的代码，斯拉夫语使用从0x0400到0x04FF的代码，美国使用从0x0530到0x058F的代码，希伯来语使用从0x0590到0x05FF的代码。中国、日本和韩国的象形文字（总称为CJK）占用了从0x3000到0x9FFF的代码；<o:p></o:p>

由于0x00在c语言及操作系统文件名等中有特殊意义，故很多情况下需要UTF-8编码保存文本，去掉这个0x00。举例如下：<o:p></o:p>

UTF-16: 0x0080 = 0000 0000 1000 0000<o:p></o:p>

UTF-8: 0xC280 = 1100 0010 1000 0000<o:p></o:p>

UTF-32：采用4字节。<o:p></o:p>

优缺点：<o:p></o:p>

· UTF-8、UTF-16和UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。<o:p></o:p>

· 使用UTF-8编码时ASCII字符只占1个字节，存储效率比较高，适用于拉丁字符较多的场合以节省空间。<o:p></o:p>

· 对于大多数非拉丁字符（如中文和日文）来说，UTF-16所需存储空间最小，每个字符只占2个字节。<o:p></o:p>

· Windows NT内核是Unicode（UTF-16），采用UTF-16编码在调用系统API时无需转换，处理速度也比较快。<o:p></o:p>

· 采用UTF-16和UTF-32会有Big Endian和Little Endian之分，而UTF-8则没有字节顺序问题，所以UTF-8适合传输和通信。<o:p></o:p>

· UTF-32采用4字节编码，一方面处理速度比较快，但另一方面也浪费了大量空间，影响传输速度，因而很少使用。<o:p></o:p>

<o:p> </o:p>

1.2 按所表示的文字分类<o:p></o:p>

语言	字符集	正式名称
英语、西欧语	ASCII ， ISO-8859-1	MBCS 多字节
简体中文	GB2312	MBCS 多字节
繁体中文	BIG5	MBCS 多字节
简繁中文	GBK	MBCS 多字节
中文、日文及朝鲜语	GB18030	MBCS 多字节
各国语言	UNICODE ， UCS	DBCS 宽字节