mysql大量迁移数据

原创

mob649e816594b7 2023-07-23 11:50:02 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e816594b7的原创作品，请联系作者获取转载授权，否则将追究法律责任

MySQL大量迁移数据

在日常数据库管理和开发工作中，我们经常需要将数据从一个MySQL数据库迁移到另一个数据库。这可能是因为我们需要将数据从开发环境迁移到生产环境，或者将数据从旧系统迁移到新系统。无论迁移的原因是什么，我们都需要一种快速且可靠的方法来完成这个任务。

在本文中，我们将介绍一种基于Python的MySQL大量数据迁移方法，该方法可以帮助我们高效地将数据从一个MySQL数据库迁移到另一个数据库。

准备工作

在开始之前，我们需要准备一些工作。

首先，我们需要安装Python和MySQL驱动程序。我们可以使用以下命令安装Python和MySQL驱动程序：

$ sudo apt-get install python3
$ sudo apt-get install python3-pip
$ pip3 install mysql-connector-python

接下来，我们需要创建两个MySQL数据库：源数据库和目标数据库。我们可以使用以下命令创建数据库：

$ mysql -u root -p
mysql> CREATE DATABASE source_database;
mysql> CREATE DATABASE target_database;

然后，我们需要创建一个表并插入一些示例数据。我们可以使用以下命令创建表并插入数据：

mysql> USE source_database;
mysql> CREATE TABLE users (id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(100), email VARCHAR(100));
mysql> INSERT INTO users (name, email) VALUES ('John Doe', 'john.doe@example.com'), ('Jane Smith', 'jane.smith@example.com');

数据迁移

现在，我们已经准备好开始数据迁移过程了。我们将使用Python脚本来完成这个任务。

首先，我们需要编写一个Python脚本来连接源数据库和目标数据库，并执行数据迁移操作。我们可以使用以下代码创建一个migrate_data.py文件：

import mysql.connector

# 连接源数据库
source_db = mysql.connector.connect(
  host="localhost",
  user="root",
  password="password",
  database="source_database"
)

# 连接目标数据库
target_db = mysql.connector.connect(
  host="localhost",
  user="root",
  password="password",
  database="target_database"
)

# 获取源数据库游标
source_cursor = source_db.cursor()

# 获取目标数据库游标
target_cursor = target_db.cursor()

# 查询源数据库的数据
source_cursor.execute("SELECT * FROM users")

# 获取查询结果
results = source_cursor.fetchall()

# 在目标数据库中创建表
target_cursor.execute("CREATE TABLE IF NOT EXISTS users (id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(100), email VARCHAR(100))")

# 将数据插入到目标数据库中
for result in results:
  target_cursor.execute("INSERT INTO users (name, email) VALUES (%s, %s)", result[1:])

# 提交事务
target_db.commit()

# 关闭连接
source_cursor.close()
target_cursor.close()
source_db.close()
target_db.close()

在上面的代码中，我们首先连接到源数据库和目标数据库。然后，我们查询源数据库中的数据，并将其插入到目标数据库中。最后，我们提交事务并关闭连接。

现在，我们可以运行这个脚本来执行数据迁移操作：