java 批量插入百万数据

原创

mob64ca12e6b22d 2024-07-19 06:52:24 ©著作权

文章标签 批量插入 sql java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12e6b22d的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java 批量插入百万数据

在数据库操作中，批量插入数据是一种常见的需求。尤其是在处理大规模数据时，如何高效地进行批量插入，成为了一个重要的问题。本文将介绍在Java中如何实现批量插入百万数据，并提供代码示例。

为什么需要批量插入

在数据库操作中，单条插入数据的速度是非常慢的，尤其是当数据量非常大时。这是因为每次插入操作都会产生网络通信开销，以及数据库的事务处理开销。而批量插入可以减少这些开销，提高数据插入的效率。

批量插入的实现方式

在Java中，批量插入数据通常有两种实现方式：使用JDBC的批量插入功能，或者使用ORM框架（如Hibernate、MyBatis等）的批量插入功能。

使用JDBC的批量插入

JDBC提供了批量插入的功能，可以通过设置Statement对象的addBatch()方法来实现。以下是使用JDBC进行批量插入的代码示例：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class BatchInsert {
    public static void main(String[] args) {
        String url = "jdbc:mysql://localhost:3306/your_database";
        String user = "your_username";
        String password = "your_password";

        try (Connection connection = DriverManager.getConnection(url, user, password);
             PreparedStatement preparedStatement = connection.prepareStatement("INSERT INTO your_table (column1, column2) VALUES (?, ?)")) {
            connection.setAutoCommit(false);

            for (int i = 0; i < 1000000; i++) {
                preparedStatement.setString(1, "value1_" + i);
                preparedStatement.setInt(2, i);
                preparedStatement.addBatch();
            }

            preparedStatement.executeBatch();
            connection.commit();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

使用ORM框架的批量插入

ORM框架通常提供了更简单、更优雅的批量插入接口。以下是使用MyBatis进行批量插入的代码示例：

import org.apache.ibatis.io.Resources;
import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;
import org.apache.ibatis.session.SqlSessionFactoryBuilder;

public class BatchInsert {
    public static void main(String[] args) throws IOException {
        String resource = "mybatis-config.xml";
        SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(Resources.getResourceAsStream(resource));

        try (SqlSession sqlSession = sqlSessionFactory.openSession()) {
            YourMapper mapper = sqlSession.getMapper(YourMapper.class);

            for (int i = 0; i < 1000000; i++) {
                mapper.insert("value1_" + i, i);
            }

            sqlSession.commit();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

批量插入的状态图

以下是批量插入操作的状态图：

stateDiagram-v2
    A[开始] --> B[初始化数据库连接]
    B --> C[准备批量插入]
    C --> D{是否完成所有数据插入？}
    D -- 是 --> E[提交事务]
    D -- 否 --> F[插入数据]
    F --> D
    E --> G[结束]