sql server java 大批量插入

原创

mob64ca12f5c08e 2024-08-05 09:05:36 ©著作权

文章标签 批量插入 sql java 文章分类 SQL Server 数据库

©著作权归作者所有：来自51CTO博客作者mob64ca12f5c08e的原创作品，请联系作者获取转载授权，否则将追究法律责任

使用 Java 执行 SQL Server 大批量插入

在开发过程中，常常需要将大量数据插入数据库。尤其是在处理大数据量时，如何高效、低延迟地将数据插入 SQL Server 成为一个重要的课题。本文将介绍如何使用 Java 进行 SQL Server 的大批量插入，包括相关代码示例。

为什么选择批量插入？

批量插入相较于逐条插入具有显著的性能提升。原因在于以下几个方面：

网络延迟：在逐条插入的情况下，每一条记录都需要和数据库进行一次网络请求，而批量插入可以将多条记录的插入合并，从而减少网络往返的次数。
事务开销：批量插入可以在单个事务中处理多条记录，降低了事务开销。
数据库优化：数据库系统通常会对批量操作进行优化，比如使用更有效率的插入算法。

如何在 Java 中进行批量插入？

在 Java 中，我们可以利用 PreparedStatement 和 addBatch 方法实现批量插入。以下是一个基本的实现示例。

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class BatchInsertExample {
    private static final String URL = "jdbc:sqlserver://localhost:1433;databaseName=yourDatabase";
    private static final String USERNAME = "yourUsername";
    private static final String PASSWORD = "yourPassword";
    
    public static void main(String[] args) {
        Connection connection = null;
        PreparedStatement preparedStatement = null;

        try {
            // 连接数据库
            connection = DriverManager.getConnection(URL, USERNAME, PASSWORD);
            connection.setAutoCommit(false); // 关闭自动提交

            String sql = "INSERT INTO YourTable (column1, column2) VALUES (?, ?)";
            preparedStatement = connection.prepareStatement(sql);

            for (int i = 1; i <= 1000; i++) {
                preparedStatement.setString(1, "Value" + i);
                preparedStatement.setInt(2, i);
                preparedStatement.addBatch(); // 添加到批量中

                if (i % 100 == 0) { // 每100条提交一次
                    preparedStatement.executeBatch();
                }
            }
            preparedStatement.executeBatch(); // 提交剩余的数据
            connection.commit(); // 提交事务

        } catch (SQLException e) {
            e.printStackTrace();
            try {
                if (connection != null) {
                    connection.rollback(); // 如果发生异常，回滚事务
                }
            } catch (SQLException ex) {
                ex.printStackTrace();
            }
        } finally {
            try {
                if (preparedStatement != null) preparedStatement.close();
                if (connection != null) connection.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
}

数据库表结构关系图

为了更好地理解数据的关系，下面是一个示例 ER 图：

erDiagram
    YourTable {
        int id PK
        string column1
        int column2
    }

在这个简单的表结构中，YourTable 只包含三列，id 为主键，column1 是字符串类型，column2 是整数类型。

状态图

通过状态图我们可以清晰地了解插入过程中的各种状态，下面是该过程的状态图示例：

stateDiagram
    [*] --> Connecting
    Connecting --> Preparing
    Preparing --> Executing
    Executing --> Committing
    Committing --> [*]
    Executing --> Rollback
    Rollback --> [*]

在这个状态图中，我们可以看到数据库连接、准备 SQL 语句、执行插入、提交事务和回滚事务等几个重要的状态。