java 多线批量下载

原创

mob64ca12d4650e 2024-09-08 06:11:10 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12d4650e的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java 多线程批量下载示例

在今天的文章中，我将向你介绍如何使用 Java 实现多线程批量下载文件。随着网络的普及，越来越多的应用需要下载多个资源。通过多线程，我们可以加速下载过程，充分利用网络带宽。接下来，让我们逐步了解整个过程。

流程概述

以下是实现 Java 多线程批量下载的主要步骤：

步骤	描述
1	确定文件 URL 列表
2	创建线程类
3	在主类中管理线程
4	启动所有线程并等待结束
5	打印下载完成信息

每一步的详细实现

1. 确定文件 URL 列表

首先，我们需要一个文件 URL 列表，可以简单使用 List<String> 来存储这些 URL。

import java.util.ArrayList;
import java.util.List;

public class DownloadManager {
    private List<String> fileUrls;

    public DownloadManager() {
        fileUrls = new ArrayList<>();
        // 添加需要下载的文件 URL
        fileUrls.add("
        fileUrls.add("
        fileUrls.add("
        // 继续添加需要下载的文件...
    }
    
    // 返回文件 URL 列表
    public List<String> getFileUrls() {
        return fileUrls;
    }
}

上述代码中，我们创建了一个 DownloadManager 类，并在构造函数中初始化了文件 URL 列表。

2. 创建线程类

接下来，我们需要为每个下载任务创建一个线程类。我们将实现 Runnable 接口。

import java.io.BufferedInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;

public class DownloadTask implements Runnable {
    private String fileUrl;

    public DownloadTask(String fileUrl) {
        this.fileUrl = fileUrl;
    }

    @Override
    public void run() {
        try {
            // 创建 URL 对象
            URL url = new URL(fileUrl);
            // 打开输入流
            InputStream in = new BufferedInputStream(url.openStream());
            // 创建输出流
            FileOutputStream fileOutputStream = new FileOutputStream(fileUrl.substring(fileUrl.lastIndexOf('/') + 1));
            byte dataBuffer[] = new byte[1024];
            int bytesRead;
            // 写入文件
            while ((bytesRead = in.read(dataBuffer, 0, 1024)) != -1) {
                fileOutputStream.write(dataBuffer, 0, bytesRead);
            }
            // 关闭流
            fileOutputStream.close();
            in.close();
            System.out.println("Downloaded: " + fileUrl);
        } catch (IOException e) {
            System.out.println("Error downloading file: " + fileUrl);
            e.printStackTrace();
        }
    }
}

在 DownloadTask 类中，我们通过构造函数接收文件 URL，以及实现了 Runnable 接口的 run 方法，执行下载逻辑。

3. 在主类中管理线程

现在我们需要在主类中创建和启动线程。

import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class Main {
    public static void main(String[] args) {
        DownloadManager downloadManager = new DownloadManager();
        List<String> fileUrls = downloadManager.getFileUrls();

        // 创建一个线程池
        ExecutorService executorService = Executors.newFixedThreadPool(3);
        
        // 提交下载任务
        for (String url : fileUrls) {
            executorService.submit(new DownloadTask(url));
        }
        
        // 关闭线程池
        executorService.shutdown();
        
        // 等待所有任务完成
        while (!executorService.isTerminated()) {
            // 等待...
        }
        
        System.out.println("All downloads completed.");
    }
}

这里我们使用了 ExecutorService 来管理线程，并限制最多同时运行 3 个线程。我们通过 submit 方法提交每个下载任务。

4. 启动所有线程并等待结束

在主类中，利用 executorService.shutdown() 来关闭线程池，并使用 isTerminated() 来阻塞主线程，直到所有任务完成。

5. 打印下载完成信息

当所有下载任务完成后，我们打印出相应的信息。

类图

以下是该项目的简单类图：

classDiagram
    class DownloadManager {
        +List<String> fileUrls
        +DownloadManager()
        +List<String> getFileUrls()
    }
    
    class DownloadTask {
        +String fileUrl
        +DownloadTask(String fileUrl)
        +void run()
    }
    
    class Main {
        +static void main(String[] args)
    }
    
    DownloadManager --> DownloadTask : creates
    Main --> DownloadManager : uses 
    Main --> DownloadTask : submits