mysql直接导入十万条数据

原创

mob649e8169b366 2023-07-22 19:08:37 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8169b366的原创作品，请联系作者获取转载授权，否则将追究法律责任

MySQL直接导入十万条数据

在现代数据处理中，我们经常需要将大量数据导入到数据库中进行存储和分析。MySQL是一个广泛使用的关系型数据库管理系统，它提供了高效的数据导入功能。本文将介绍如何使用MySQL直接导入十万条数据，并提供相应的代码示例。

1. 数据准备

首先，我们需要准备要导入的数据。这里我们使用Python生成一万条随机数据，并将其保存到一个CSV文件中。代码如下:

import csv
import random

data = []
for i in range(100000):
    row = [i, random.randint(0, 100), random.random()]
    data.append(row)

with open('data.csv', 'w', newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id', 'value1', 'value2'])
    writer.writerows(data)

2. 创建数据库表

接下来，我们需要创建一个数据库表来存储数据。在MySQL中，我们可以使用以下SQL语句创建一个名为data_table的表：

CREATE TABLE data_table (
    id INT PRIMARY KEY,
    value1 INT,
    value2 FLOAT
);

3. 导入数据

有了数据和数据库表，我们可以使用MySQL的LOAD DATA INFILE语句将数据导入到数据库中。这个语句可以直接从文件中读取数据并将其插入到指定的表中。

LOAD DATA INFILE 'data.csv'
INTO TABLE data_table
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

上述代码片段中，data.csv是我们之前生成的数据文件的名称。data_table是我们在第2步中创建的表的名称。FIELDS TERMINATED BY ','表示数据文件中每个字段之间使用逗号进行分隔。LINES TERMINATED BY '\n'表示数据文件中每一行以换行符结束。IGNORE 1 ROWS表示忽略数据文件中的第一行，这是因为我们在生成数据文件时已经写入了表头。

4. 验证数据导入

导入数据后，我们可以通过查询数据表来验证数据是否成功导入。例如，我们可以使用以下SQL语句查询表中的前10条数据：

SELECT * FROM data_table LIMIT 10;

如果数据导入成功，我们将看到类似下面的结果：

+----+--------+---------+
| id | value1 | value2  |
+----+--------+---------+
|  0 |     78 | 0.87349 |
|  1 |     38 | 0.53682 |
|  2 |     42 | 0.74351 |
|  3 |     20 | 0.36393 |
|  4 |     62 | 0.69123 |
|  5 |     95 | 0.47984 |
|  6 |     88 | 0.72610 |
|  7 |     66 | 0.38774 |
|  8 |     49 | 0.84311 |
|  9 |     81 | 0.00239 |
+----+--------+---------+