读取文件存入数据库多线程 java

原创

mob64ca12ee2ba5 2023-09-17 11:00:54 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12ee2ba5的原创作品，请联系作者获取转载授权，否则将追究法律责任

读取文件存入数据库多线程

在Java编程中，我们经常需要读取文件并将文件中的数据存入数据库。为了提高效率，我们可以使用多线程来同时处理多个文件。本文将介绍如何使用Java进行文件读取和数据库操作，并且通过多线程的方式来提升处理速度。

文件读取

首先，我们需要从文件中读取数据。Java提供了多种方法来读取文件，其中最常用的是使用BufferedReader类。

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class FileUtil {
    public static String readFromFile(String filePath) throws IOException {
        StringBuilder sb = new StringBuilder();
        BufferedReader br = new BufferedReader(new FileReader(filePath));
        String line;
        while ((line = br.readLine()) != null) {
            sb.append(line);
            sb.append(System.lineSeparator());
        }
        br.close();
        return sb.toString();
    }
}

上述代码中，readFromFile方法接受一个文件路径作为参数，然后使用BufferedReader逐行读取文件内容，并将内容存储到StringBuilder中。最后，我们将StringBuilder转换为字符串，并返回读取到的内容。

数据库操作

接下来，我们需要将读取到的文件内容存入数据库。在Java中，我们可以使用JDBC来连接数据库并执行SQL语句。

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class DBUtil {
    private static final String DB_URL = "jdbc:mysql://localhost:3306/my_database";
    private static final String DB_USERNAME = "root";
    private static final String DB_PASSWORD = "password";

    public static void insertIntoDatabase(String data) throws SQLException {
        Connection conn = DriverManager.getConnection(DB_URL, DB_USERNAME, DB_PASSWORD);
        String sql = "INSERT INTO my_table (data) VALUES (?)";
        PreparedStatement pstmt = conn.prepareStatement(sql);
        pstmt.setString(1, data);
        pstmt.executeUpdate();
        pstmt.close();
        conn.close();
    }
}

上述代码中，insertIntoDatabase方法接受一个字符串参数，将其作为数据插入到数据库中。我们首先通过DriverManager.getConnection方法连接到数据库，然后使用PreparedStatement执行插入操作。

多线程处理

为了提高处理速度，我们可以使用多线程来同时处理多个文件。Java提供了ExecutorService来管理线程池，并且可以使用Callable接口来实现多线程任务。

import java.util.List;
import java.util.concurrent.Callable;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;

public class MultiThreadExample {
    public static void main(String[] args) {
        List<String> filepaths = List.of("file1.txt", "file2.txt", "file3.txt");
        ExecutorService executorService = Executors.newFixedThreadPool(3);
        
        try {
            List<Future<Void>> futures = executorService.invokeAll(filepaths.stream()
                    .map(filepath -> (Callable<Void>) () -> {
                        String data = FileUtil.readFromFile(filepath);
                        DBUtil.insertIntoDatabase(data);
                        return null;
                    })
                    .toList());
            for (Future<Void> future : futures) {
                future.get();
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            executorService.shutdown();
        }
    }
}

上述代码中，我们首先创建一个包含所有文件路径的列表filepaths。然后，我们使用ExecutorService的invokeAll方法来提交多个任务，并将每个任务封装为一个Callable对象。在每个任务中，我们读取文件内容并将其插入到数据库中。