最近程序中需要用到rubyzip这个gem进行解压缩和压缩,于是就遇到了中文文件名变成乱码的问题。
首先,使用rubyzip解压缩zip文件,代码参照官网的示例很简单
def unzip(zip_file, dest_dir)
Zip::File.open zip_file do |zf|
zf.each do |e|
path = File.join dest_dir, e.name
FileUtils.mkdir_p File.dirname(path)
zf.extract(e, path) { true }
end
end
end
发现中文文件名乱码后,看文档发现只需在方法开始加上 ,
Zip.force_entry_names_encoding = 'GBK'
经过测试果然解决问题。
应用里还需要生成zip压缩包,这里就不贴代码了,完全采用官网的示例即可,这次仔细看了说明,在其中加上下面这行即可顺利生成包含中文文件名的zip压缩包
Zip.unicode_names = true
好,现在压缩解压缩代码都完成了,可是接下来问题来了,用自己的代码解压缩自己打包的zip文件,又出现了中文文件名乱码问题!
经研究发现,一开始的zip包是在windows下打包的,中文文件名编码为gb18030,程序打包的zip文件,中文文件名的编码是UTF-8,在windows下打开解压都没有问题,但是由于解压代码中固定设置为GBK,所以解压自己打包的zip就再次出现乱码现象。
多方搜索,仔细看文档甚至代码,都没有好的解决方案,不能自适应编码是不能接受的。没办法只能自己解决编码探测问题。
在gems网站找到2个编码探测的gem一个是纯ruby编码的 ’rchardet‘,另一个是依赖ICU库的 'charlock_holmes', 经测试,两个库都可以完成任务,但是'charlock_holmes' 要比 ’rchardet' 快上一个量级。
开始,采用每个文件名探测一次的方式,结果很不理想,误报率较高,而且置信度维持低水平,尤其charlock_holmes',经常把中文编码探测为日文Shift_JIS。后改为联合所有文件名为一个字符串在进行探测,发现置信度大幅度提升,基本已经满足需要。
因为GB18030编码足够空间,所以如果探测到不是ASCII编码,就一律转为GB18030,经测试完美解决了我的问题。
附上修改后的代码:
def unzip(zip_file, dest_dir)
file_encoding = detect_encoding_v2 zip_file
Zip::File.open zip_file do |zf|
zf.each do |e|
name = e.name
name = name.encode('GB18030', file_encoding) if file_encoding != 'ASCII'
path = File.join dest_dir, name
FileUtils.mkdir_p File.dirname(path)
zf.extract(e, path) { true }
end
end
end
def detect_encoding_v2(zip_file)
require 'charlock_holmes'
names = []
Zip::File.open zip_file do |zf|
zf.each do |e|
name = e.name
names << e.name
end
end
ss = names.join
cd = CharlockHolmes::EncodingDetector.detect(ss)
syscoding = name.encoding.to_s.upcase
coding = cd[:encoding].upcase
if coding=='ASCII' && syscoding!='ASCII'
coding = 'GB18030'
end
return coding
end
View Code