python csv gbk 转 utf8

原创

mob64ca12e36a1d 2023-12-08 07:14:59 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12e36a1d的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python CSV GBK 转 UTF-8

介绍

在处理中文文本数据时，我们经常会遇到字符编码的问题。特别是在读写CSV文件时，如果文件使用GBK编码，而我们的代码使用UTF-8编码，就需要进行编码转换。本文将介绍如何使用Python将GBK编码的CSV文件转换为UTF-8编码，并提供代码示例。

CSV文件

CSV（Comma-Separated Values）是一种常见的用于存储和交换数据的文件格式。每行数据由逗号分隔，字段可以用双引号括起来。在处理中文数据时，常常会使用GBK编码保存CSV文件。

编码转换

Python中的csv模块提供了读写CSV文件的功能。但是，该模块默认使用UTF-8编码读写文件。如果CSV文件使用的是其他编码，如GBK，就需要进行编码转换。

读取CSV文件

首先，我们需要读取GBK编码的CSV文件，并将其转换为Unicode字符串。下面是一个示例代码：

import csv

with open('data.csv', 'r', encoding='gbk') as file:
    reader = csv.reader(file)
    for row in reader:
        # 处理每一行数据
        pass

在打开文件时，我们指定了encoding='gbk'参数，以指定文件的编码为GBK。这样，csv.reader会自动将文件内容转换为Unicode字符串。

写入CSV文件

在将数据写入CSV文件之前，我们需要将Unicode字符串转换为UTF-8编码。下面是一个示例代码：

import csv

data = [['张三', '18', '男'], ['李四', '22', '女']]

with open('data.csv', 'w', encoding='utf-8', newline='') as file:
    writer = csv.writer(file)
    for row in data:
        writer.writerow(row)

在打开文件时，我们指定了encoding='utf-8'参数，以指定写入文件时使用的编码为UTF-8。这样，csv.writer会自动将Unicode字符串转换为UTF-8编码。

编码转换

如果需要将已有的GBK编码的CSV文件转换为UTF-8编码，可以使用以下代码：

import csv

# 读取原始文件
with open('data_gbk.csv', 'r', encoding='gbk') as file:
    reader = csv.reader(file)
    data = list(reader)

# 写入新文件
with open('data_utf8.csv', 'w', encoding='utf-8', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(data)

上述代码首先使用GBK编码读取原始文件，然后将数据写入新文件时使用UTF-8编码。