经常需要拷贝大量的数据到多个服务器,发现rsync对与某些格式的文件同步很快,但是对于一些格式的文件同步速度真的很慢,如果能使用阵列应该会提高很多。当然采用分布式也有很大的提升。

下面是脚本代码,请大家多多指教:

前面部分的密码就没贴出来了,你们可以自己添加passwd变量及变量ip

thead_num=10

tmp_fifo_file="/tmp/$$.fifo"

mkfifo $tmp_fifo_file

exec 4<>$tmp_fifo_file

rm -f $tmp_fifo_file


for ((i=0;i<$thead_num;i++))

do

        echo ""

done >&4


for i in $ip

do

        read -u4

                {

                        expect -c "

                        set timeout -1

                         spawn scp -p $file $i:$dir

                                                expect {

                                                  \"yes/no\"    {send \"yes\r\";exp_continue}                        

                                                  \"*password\" {send \"$passwd\r\";exp_continue}

                                                      }"

                                                sleep 3

                        echo "" >&4


                }&

done

wait

exec 4 >&-

exit 0

以下为详细注解。

#设置线程数,在这里所谓的线程,其实就是几乎同时放入后台(使用&)执行的进程。
thead_num=10

# 脚本运行的当前进程ID号作为文件名,其实这样命名只是为了防止创建管道文件时与现有文件名重复,从而引起创建失败,别无他用。
tmp_fifofile="/tmp/$$.fifo"                  
#创建管道文件
mkfifo $tmp_fifo_file

#把文件描述符4指向管道文件,文件描述符可以使用3-9任意一个即可(除了5),0、1、2、5已有定义,具体可参考关于文件描述符的文章。
exec 4<>$tmp_fifo_file  

#其实删不删除都太多关系

rm -f $tmp_fifo_file

 # 暂停3秒,这里是关键点,其实引入管道模拟多线程的关键就是为了这个暂停的3秒(实际上是微大于3秒的),让系统有个缓冲的时间,起到限制所谓并发的进程数量。

sleep 3

# 再次往管道文件中写入一个空行,为了挂起的for循环能够继续执行。

 echo "" >&4