java批量新增几百万数据

原创

mob649e8168b406 2023-07-30 08:31:07 ©著作权

文章标签 数据 java Java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e8168b406的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java批量新增几百万数据

在现代软件开发中，我们经常需要处理大规模的数据集。当需要将大量数据批量导入到数据库或其他数据存储系统中时，高效的数据插入操作是非常重要的。本文将介绍如何使用Java语言批量新增几百万条数据的方法，并提供相应的代码示例。

背景

假设我们有一个包含几百万条用户数据的CSV文件，我们希望将这些数据批量插入到数据库中。传统的做法是使用循环逐条插入数据，这种方式效率较低，耗时较长。为了提高性能，我们可以使用批量插入的方法。

批量插入数据的原理

批量插入数据的原理是将多条数据一起发送给数据库执行，减少通信开销和数据库事务的开销。通常，我们可以使用JDBC（Java Database Connectivity）来实现批量插入数据的功能。

示例代码

下面是一个示例代码，用于解析CSV文件并批量插入数据到数据库中。

import java.io.BufferedReader;
import java.io.FileReader;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class BatchInsertExample {

    public static void main(String[] args) {
        String csvFile = "users.csv";
        String jdbcUrl = "jdbc:mysql://localhost:3306/mydb";
        String username = "root";
        String password = "password";

        try (Connection conn = DriverManager.getConnection(jdbcUrl, username, password);
             PreparedStatement stmt = conn.prepareStatement("INSERT INTO users (id, name, email) VALUES (?, ?, ?)")) {

            BufferedReader br = new BufferedReader(new FileReader(csvFile));
            String line;
            int batchSize = 1000;
            int count = 0;

            while ((line = br.readLine()) != null) {
                String[] data = line.split(",");
                int id = Integer.parseInt(data[0]);
                String name = data[1];
                String email = data[2];

                stmt.setInt(1, id);
                stmt.setString(2, name);
                stmt.setString(3, email);
                stmt.addBatch();

                if (++count % batchSize == 0) {
                    stmt.executeBatch();
                }
            }

            stmt.executeBatch(); // 执行最后一批数据的插入操作

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在上面的代码中，首先我们创建了与数据库的连接，并准备了一个预编译的SQL语句。然后，我们使用BufferedReader从CSV文件中逐行读取数据。对于每一行数据，我们将其拆分为字段，并将字段的值设置到预编译的SQL语句中。然后，我们将SQL语句添加到批处理中，当批处理中的数据达到一定数量（例如1000条）时，执行批处理。最后，我们执行剩余的不足一批的数据插入操作。