前言

在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多线程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

需求

为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：


复制代码代码如下:


​​​ http://www.baidu.com ​​

​​ http://www.google.com​​

​​​ http://www.jb51.net​​


单进程实现

那么shell脚本scanUrl.sh可以这样写：


复制代码代码如下: 


#!/bin/bash
 
 #判断是否有参数
 
 if [ $# != 1 ] ;then
 
         echo "The parameters you enter is not correct !";
 
         exit -1;
 
 fi 
  
 #循环读出URL并判断状态码
 while read line
 do
 {
     isok=`curl -I -o /dev/null -s -w %{http_code} $line`
     if [ "$isok" = "200" ]; then
         echo $line "OK" 
     else
         echo $line "no" 
     fi
 }
 done < $1
 echo "执行结束"

那么可以执行下面的命令扫描：

复制代码代码如下:


/bin/sh scanUrl.sh url.txt

但这样脚本执行非常慢，一万个URL几个小时都扫描不完。

多进程实现


改成多进程实现非常简单，只需要在do后面的大括号加 & 符号，在done后面加一个wait,表示父进程等待子进程退出后再退出

复制代码代码如下: 

#!/bin/bash
 
 #判断是否有参数
 
 if [ $# != 1 ] ;then
 
         echo "The parameters you enter is not correct !";
 
         exit -1;
 
 fi 
  
 #循环读出URL并判断状态码
 while read line
 do
 {
     isok=`curl -I -o /dev/null -s -w %{http_code} $line`
     if [ "$isok" = "200" ]; then
         echo $line "OK" 
     else
         echo $line "no" 
     fi
     }
 }&
 done < $1
 wait
 echo "执行结束"


这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上进程数控制。

多进程实现并控制进程数

复制代码代码如下: 

#!/bin/bash
 
 #允许的进程数
 
 THREAD_NUM=200
 
 #定义描述符为9的管道
 
 mkfifo tmp
 
 exec 9<>tmp
 
 #预先写入指定数量的换行符，一个换行符代表一个进程
 
 for ((i=0;i<$THREAD_NUM;i++))
 
 do
 
     echo -ne "\n" 1>&9
 
 done 
  
 if [ $# != 1 ] ;then
         echo "The parameters you enter is not correct !";
         exit -1;
 fi while read line
 do
 {
     #进程控制
     read -u 9
     {
         #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
         if [ "$isok" = "200" ]; then
             echo $line "OK" 
         else
             echo $line "no" 
         fi
         echo -ne "\n" 1>&9
     }&
 }
 done < $1
 wait
 echo "执行结束"
 rm tmp


上面的代码就可以保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行


复制代码代码如下: 


{
 
     #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
 
     if [ "$isok" = "200" ]; then
 
         echo $line "OK" 
 
     else
 
         echo $line "no" 
 
     fi
 
     #写入一个换行符
 
     echo -ne "\n" 1>&9
 
 }&


而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。

这样就能达到我们的目的了。