文章目录
- 博客概述
- 代码实现
- 主函数
- 任务对象
- worker角色
- Master角色
博客概述
MasterWorker模式是常用的并行设计模式。它的核心思想是由两类进程协作工作：Master负责接受和分配任务，worker负责处理子任务。当各个worker子进程处理完成以后，会将结果返回给master，由master做归纳和总结。其好处是能将一个大任务分解成若干个小任务，并行执行，提高吞吐量。
netty的模式很像MasterWorker模式，但是worker线程组不负责最后的归纳总结，只是负责接受tcp连接，具体的业务细节则交给worker线程组去做。
这种经典的设计模式，被很多大型框架使用，比如hadoop。但是如果数据量没那么大，用hadoop杀鸡用牛刀。完全可以用这种模式。可以试试这种手写的模式。
代码实现
主函数
public static void main(String[] args) {
//新建一个master角色，有20个工人
Master master = new Master(new Worker(), 20);
//添加100个任务
Random r = new Random();
for(int i = 1; i <= 100; i++){
Task t = new Task();
t.setId(i);
t.setPrice(r.nextInt(1000));
master.submit(t);
}
//让master开始组织工作
master.execute();
long start = System.currentTimeMillis();
while(true){
//判断是否完成
if(master.isComplete()){
long end = System.currentTimeMillis() - start;
int priceResult = master.getResult();
System.out.println("最终结果：" + priceResult + ", 执行时间：" + end);
break;
}
}
}任务对象
public class Task {
private int id;
private int price ;
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public int getPrice() {
return price;
}
public void setPrice(int price) {
this.price = price;
}
}worker角色
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;
public class Worker implements Runnable {
//获取任务队列的引用，方便领取任务
private ConcurrentLinkedQueue<Task> workQueue;
//获得工作成果的收集箱
private ConcurrentHashMap<String, Object> resultMap;
public void setWorkQueue(ConcurrentLinkedQueue<Task> workQueue) {
this.workQueue = workQueue;
}
public void setResultMap(ConcurrentHashMap<String, Object> resultMap) {
this.resultMap = resultMap;
}
//工作的细节过程，拿出任务，处理，把结果放在结果箱
@Override
public void run() {
while(true){
Task input = this.workQueue.poll();
if(input == null) break;
Object output = handle(input);
this.resultMap.put(Integer.toString(input.getId()), output);
}
}
//处理的具体细节
private Object handle(Task input) {
Object output = null;
try {
//处理任务的耗时。。 比如说进行操作数据库。。。
Thread.sleep(500);
output = input.getPrice();
} catch (InterruptedException e) {
e.printStackTrace();
}
return output;
}
}
Master角色
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;
public class Master {
//1 有一个盛放任务的容器,因为会被多线程并发的领取任务，所以是并发的无界队列
private ConcurrentLinkedQueue<Task> workQueue = new ConcurrentLinkedQueue<Task>();
//2 需要有一个盛放worker的集合，不需要处理并发，简单的hashmap即可
private HashMap<String, Thread> workers = new HashMap<String, Thread>();
//3 需要有一个盛放每一个worker执行任务的结果集合，一个道理，需要并发的放入结果，需要用这种并发容器
private ConcurrentHashMap<String, Object> resultMap = new ConcurrentHashMap<String, Object>();
//4 构造方法
public Master(Worker worker , int workerCount){
worker.setWorkQueue(this.workQueue);
worker.setResultMap(this.resultMap);
for(int i = 0; i < workerCount; i ++){
this.workers.put(Integer.toString(i), new Thread(worker));
}
}
//5 需要一个提交任务的方法
public void submit(Task task){
this.workQueue.add(task);
}
//6 需要有一个执行的方法，启动所有的worker方法去执行任务
public void execute(){
for(Map.Entry<String, Thread> me : workers.entrySet()){
me.getValue().start();
}
}
//7 判断是否运行结束的方法
public boolean isComplete() {
for(Map.Entry<String, Thread> me : workers.entrySet()){
if(me.getValue().getState() != Thread.State.TERMINATED){
return false;
}
}
return true;
}
//8 计算结果方法
public int getResult() {
int priceResult = 0;
for(Map.Entry<String, Object> me : resultMap.entrySet()){
priceResult += (Integer)me.getValue();
}
return priceResult;
}
}
