mysql可以一次添加百万条数据

原创

mob649e81664bd9 2024-08-23 09:09:19 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e81664bd9的原创作品，请联系作者获取转载授权，否则将追究法律责任

如何在MySQL中一次性添加百万条数据

在数据库管理中，批量插入大量数据是一个常见的需求。对于新手开发者来说，这个过程可能看起来复杂，但其实只需遵循几个简单的步骤。接下来，我们将带你详细了解如何在MySQL中一次性添加百万条数据。

流程概述

以下是实现的基本步骤：

步骤	描述
1	准备数据库和表
2	生成要插入的数据
3	使用批量插入的SQL语句
4	执行插入操作并验证结果

每一步骤详解

步骤1：准备数据库和表

在开始插入数据之前，你需要确认数据库和表已经存在。如果还没有，下面的代码可以帮助你创建一个简单的数据库和表。

-- 创建数据库
CREATE DATABASE my_database;

-- 使用数据库
USE my_database;

-- 创建一个名为 my_table 的表，包含 id 和 name 字段
CREATE TABLE my_table (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(100) NOT NULL
);

步骤2：生成要插入的数据

接下来，需要生成要插入的数据。这里我们可以使用Python来生成数据，以下是一个简单的示例：

import random

# 创建一个数据列表
data = []
for i in range(1, 1000001):  # 生成100万条数据
    name = f'name_{i}'  # 生成名字
    data.append((i, name))

# 输出数据，以便后续使用
print(data)

步骤3：使用批量插入的SQL语句

创建好数据后，可以用INSERT语句将数据插入到数据库中。为了提高效率，我们可以使用批量插入。

INSERT INTO my_table (id, name) VALUES 
(1, 'name_1'),
(2, 'name_2'),
(3, 'name_3'),
...,
(1000000, 'name_1000000');

为了不使SQL语句过于庞大，我们可以将数据分成几批进行插入，比如每次插入10000条。

步骤4：执行插入操作并验证结果

最后，执行插入的SQL语句，并验证结果是否正确。

-- 查询已插入的数据，确保插入成功
SELECT COUNT(*) FROM my_table;

流程序列图

以下是整个流程的序列图，帮助你更好地理解各个步骤之间的关系：

sequenceDiagram
    participant User
    participant Python as Data Generator
    participant MySQL as Database

    User->>Python: 生成100万条数据
    Python->>User: 返回数据列表
    User->>MySQL: 执行批量插入SQL
    MySQL-->>User: 插入成功确认
    User->>MySQL: 查询数据以验证结果
    MySQL-->>User: 返回数据计数