java如何批量导入数据

原创

mob649e81643021 2023-08-02 17:20:45 ©著作权

文章标签 java 数据库 Source 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e81643021的原创作品，请联系作者获取转载授权，否则将追究法律责任

项目方案：Java批量导入数据

1. 背景

在许多业务场景中，我们需要将大量数据导入到数据库中。这可能是从外部文件中读取数据，从其他系统中获取数据，或者从其他数据库中导入数据。本项目旨在提供一个可靠且高效的解决方案，使用Java语言批量导入数据。

2. 技术选型

Java：作为主要开发语言，提供丰富的库和工具。
数据库：使用MySQL作为示例数据库，但该方案适用于其他数据库。
数据库连接池：Apache Commons DBCP提供了一个可靠且高性能的数据库连接池。
数据库操作：使用JDBC（Java Database Connectivity）来与数据库进行交互。

3. 方案实施步骤

3.1. 准备工作

在项目中引入Apache Commons DBCP和MySQL JDBC驱动的依赖。

依赖示例：
```xml
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-dbcp2</artifactId>
    <version>2.8.0</version>
</dependency>

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.23</version>
</dependency>

3.2. 数据准备

准备要导入的数据，可以是一个文件、其他系统的API或者其他数据库。

3.3. 数据导入代码实现

创建数据库连接池

import org.apache.commons.dbcp2.BasicDataSource;

public class DatabaseManager {
    private static final String DB_DRIVER = "com.mysql.cj.jdbc.Driver";
    private static final String DB_URL = "jdbc:mysql://localhost:3306/mydatabase";
    private static final String DB_USER = "username";
    private static final String DB_PASSWORD = "password";

    private BasicDataSource dataSource;

    public DatabaseManager() {
        dataSource = new BasicDataSource();
        dataSource.setDriverClassName(DB_DRIVER);
        dataSource.setUrl(DB_URL);
        dataSource.setUsername(DB_USER);
        dataSource.setPassword(DB_PASSWORD);
    }

    public Connection getConnection() throws SQLException {
        return dataSource.getConnection();
    }
}

批量导入数据

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class DataImporter {
    private static final String INSERT_QUERY = "INSERT INTO mytable (column1, column2) VALUES (?, ?)";
    private static final String DATA_FILE_PATH = "data.txt";

    public void importData() {
        DatabaseManager databaseManager = new DatabaseManager();
        try (Connection connection = databaseManager.getConnection();
             BufferedReader reader = new BufferedReader(new FileReader(DATA_FILE_PATH));
             PreparedStatement statement = connection.prepareStatement(INSERT_QUERY)) {

            String line;
            while ((line = reader.readLine()) != null) {
                String[] data = line.split(",");
                statement.setString(1, data[0]);
                statement.setString(2, data[1]);
                statement.addBatch();
            }

            statement.executeBatch();
            connection.commit();

            System.out.println("Data imported successfully.");
        } catch (IOException | SQLException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) {
        DataImporter dataImporter = new DataImporter();
        dataImporter.importData();
    }
}