Mysql编码转换实践总结 2012-09-20 15:51:56
Mysql/postgreSQL
背景：系统的mysql数据库fol采用默认的latin1字符集，里面的字段在GB2312下显示正常。系统升级需要将所有数据转换成utf-8格式，目标数据库为newfol(建库时使用utf8 )
1. create database newfol default charset utf8 COLLATE utf8_general_ci;
操作系统：RHEL5 x86
Mysql版本：5.1.57-log MySQL Community Server (GPL)
首先，使用替换Mysql字符集的方法转码，此方法在Navicat使用Mysql字符集连接数据库，显示中文正常的情况下，测试成功。如图：
1> 导出表结构：
1. mysqldump -uroot -p --default-character-set=utf8 -d fol > createtab_fol.sql
其中--default-character-set=utf8 表示设置以什么字符集连接， -d 表示只导出表结构，不导出数据。
2>修改 createtab.sql 中表结构定义中的字符集为新的字符集。
1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab_fol.sql `
注：如果有设置latin1_general_ci字符集，那么要对应改成utf8_general_ci，下同
3>确保记录不再更新，导出所有记录。
1. mysqldump -uroot -p --no-create-info fol > data_fol.sql
可选参数：
--no-create-info: 不写重新创建每个转储表的create table 语句。
4>打开data_fol.sql，将CHARSET=latin1修改成CHARSET=utf8。
1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data_fol.sql `
5>使用新的字符集创建新的数据库。
1. create database newfol default charset utf8 COLLATE utf8_general_ci;
6>创建表，执行createtab.sql
1. mysql -uroot -p newfol< createtab_fol.sql
7>导入数据，执行data_fol.sql
1. mysql -uroot -p newfol < data_fol.sql
8>使用客户端工具Navict连接，查看字符，乱码……宣告失败。
总结：在数据库默认为latin1字符集，字段为GB2312，直接修改表结构文件和数据文件为utf8格式，实际没有对中文生效。只有在默认为latin1字符集，中文为默认Mysql字符，才生效。
于是，搜索了互联网相关Mysql转换方法。
方法一：
步骤一> 命令行执行：
1. mysqldump --opt -uroot -p --default-character-set=latin1 fol > /tmp/newfol.sql
步骤二 > 将 newfol.sql 文件中的create table语句的CHARSET=latin1改为CHARSET=utf8
1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/newfol.sql `
步骤四 > 将newfol.sql转码为utf-8格式，建议使用UltraEditor，可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)'，或者将文件另存为UTF-8(无BOM)格式
步骤五 > 命令行执行导入：
1. mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql
看到了华丽丽的中文了。哈哈
方法二
第一步，导出旧库
1. mysqldump --default-character-set=latin1 -uroot -p fol > /tmp/old.sql
第三步，使用iconv工具转换编码
1. iconv -t utf-8 -f gb2312 -c /tmp/old.sql > /tmp/new_utf8.sql
第二步，打开old.sql，将CHARSET=latin1修改成CHARSET=utf8。
1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/new_utf8.sql
第四步，导入新库
修改new_utf8.sql，增加一条sql语句："SET NAMES utf8;"，保存。
如果是大文件，建议使用sed命令插入，如 sed -i '22 i\SET NAMES utf8;'
即在22行之前插入一条SQL语句。
1. mysql -hlocalhost -uroot newfol < new_utf8.sql
测试也成功通过，不乱码……
方法三：
Mysql5版本以上在使用 mysqldump的时候加上 --compatible=mysql40 参数，就可以指定编码,对导出文件进行格式转换。
1、用mysqldump将latin1编码的数据库导出成为sql文件。
1. mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql
重点：--compatible=mysql40 --default-character-set=latin1 当指定了--compatible=mysql40参数后，可以指定数据库编码。
2、第二步，建立一个新库，采集字符集设定为utf8-general-li
将导出的newfol.sqlUTF-8编码，可以使用UltraEdit（文件--转换--ASCII到UTF8）。后面的操作和第一种方法第二步骤开始一样。
结果测试是乱码。太伤心了……
经过不断测试和努力，用另外一种方法也把数据转换成功了，使用如下方法。
在和同事讨论了这个问题，得知在Navicat中使用GB2312字符连接，在正常显示中文的时候，转储SQL文件，然后用过UltraEdit（文件--转换--ASCII到UTF8）。同样修改sql文件字符集为新的字符集utf8 ,这种方法可行。但缺点是使用Navicat转储SQL文件非常慢，40M的数据就花了一个多小时，伤不起。如果是大存储时间，那如何是好。
另外，在查找资料的过程中，找到了一些关于针对表转换编码的方法：
以原来的字符集为latin1为例，升级成为utf8的字符集。原来的表: old_table，新表：new_table (default charset=utf8)。
第一步：导出旧数据
1. mysqldump --default-character-set=latin1 -hlocalhost -uroot -B fol --tables old_table > new_table.sql
第二步：转换编码
转码为utf-8格式，使用UltraEditor，可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)'，或者将文件另存为UTF-8(无BOM)格式在这里，原来的数据默认是gb2312编码。
第三步：导入
修改new_table.sql文件字符集为新的字符集utf8，导入新库newfol
1. mysql -hlocalhost -uroot newfol < new.sql
结果显示中文正常。
总结：使用UltraEditor对某个表导出文件转换编码，导入数据正常，大功告成；如果只是对一些表作编码转换，可以使用这种方法。
最后，使用PHP程序等，从数据库中读取数据写入到新库，也是一个好方法。脚本还在测试中……有没好友有现成的呢？不胜感激……
