[转帖]linux将大目录等分切割成多个小目录

 

需求：有一个目录存放了数十万个文件，现在需要将这个目录上传，如果整个目录上传，中间因为某些故障断开连接了，可能又要从头开始

这时就需要将目录切割成多个小目录，分批次上传，一个简单的 shell 脚本即可实现

思路很简单：遍历目录，将每 n 个文件一起存放到新的子目录，子目录名称以 dir_001 这种格式排列

代码实现：假定我们以 100 个文件为一个子目录

新建 split.sh 放在目录下

i=0;
for f in *;
do
    d=dir_$(printf %03d $((i/100+1)));
    mkdir -p $d;
    mv "$f" $d;
    let i++;
done

执行完成后要将该 shell 移除

rm -f ./*/split.sh

 

题图