MySQL批量插入1000w条数据

在开发过程中，有时候需要往数据库中插入大量数据。如果使用传统的一条一条插入的方式，效率会很低。因此，我们可以使用MySQL的批量插入功能来提高数据插入的效率。

批量插入数据流程图

flowchart TD
    Start --> ConnectDatabase
    ConnectDatabase --> InsertData
    InsertData --> CommitData
    CommitData --> CloseConnection

数据表关系图

erDiagram
    CUSTOMER ||--o{ ORDER : has
    ORDER ||--o{ ORDER_ITEM : contains
    PRODUCT ||--o{ ORDER_ITEM : has

代码示例

首先，我们需要连接数据库，并设置好要插入的数据：

```python
import pymysql

# 连接数据库
conn = pymysql.connect(host='localhost', user='root', password='123456', db='testdb')
cursor = conn.cursor()

# 设置要插入的数据
data = [(1, 'Alice'), (2, 'Bob'), (3, 'Charlie'), ...]  # 1000w条数据

然后，我们可以使用executemany()方法来进行批量插入：

```python
# 批量插入数据
cursor.executemany("INSERT INTO users (id, name) VALUES (%s, %s)", data)

# 提交数据
conn.commit()

# 关闭连接
cursor.close()
conn.close()

通过以上代码，我们就可以高效地将1000w条数据批量插入到数据库中了。

结论

在处理大量数据插入时，使用MySQL的批量插入功能能够大大提高效率，避免了一条一条插入的低效率问题。同时，合理的数据库设计和索引优化也能够进一步提升数据插入的速度。希望本文能够帮助大家更好地理解MySQL批量插入数据的方法。