目录
linux文件搬运
目的
解决linux服务器间的数据、文件搬运和免密登录等问题；
从多种业务环境入手，以不同方式实现服务器间的文件传输；
过程简介
准备工作：
1.保证服务器之间的正常通信（可以ping通），ping不同一般出现在服务器处于不同网段或防火墙未关闭；
防火墙关闭方式：
service iptables stop （仅关闭防火墙）
chkconfig iptables off （关闭防火墙及相关服务）
iptables -F （清除防火墙规则）
使用 iptables -F 前请先阅读如何关闭防火墙及清除防火墙策略
流程介绍：
此处以服务器A、服务器B（文件传输方向 A → B）为例；
服务器A:192.168.101.40
服务器A:192.168.101.90
1.建立服务器A、服务器B间的免密协议；
通常我们通过scp、rsync、ssh等方式连接时，时需要输入被访问服务器密码的，做免密协议就是建立互信，以后不再输入密码。
2.编写搬运shell脚本（.sh）；
将我们需要传输的相关命令写入脚本，附上权限方便手动或定时器调用。
3.编辑linux自带定时器（crontab）；
通过linux定时器触发，去调用shell搬运脚本进行日常搬运工作。
实践方法
免密协议搭建：
网络上免密搭建的方式普遍比较复杂，且很多不好使，这里我记录一下我的建立免密方式。至于sshd的环境搭建现在linux一般都会自带了，此处不再赘述。
1.建立A、B服务器的公钥私钥
先确定本机是否已有，如果输入ls ~/.ssh/ 命令后.ssh文件夹没有id_rsa、id_rsa.pub文件，则需要给该服务器初始化一个公钥和私钥；
初始化公钥和私钥命令：ssh-keygen
然后连点三下回车即可（自动设置rsa密码为空）；
2.建立A、B服务器的免密：
在服务器A输入命令：
ssh-copy-id -i ~/.ssh/id_rsa.pub 服务器B的IP
例如：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90
完成建立免密后，测试ssh访问，ssh B服务器IP，不用输入密码，说明OK。
免密详细流程说明：
思路：我们给服务器建立免密是通过rsa协议配置，我们使用/usr/bin/ssh-keygen命令在ServerA上生成私钥（id_rsa）跟公钥（id_rsa.pub），将生成的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerB上的公钥箱（/.ssh/authorized_keys）后,就可以使用ssh等命令无需密码登录到另外一台机器ServerB上。如果需要相互免密，同理将serverB上的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerA上的公钥（/.ssh/authorized_keys）中即可；另外，使用ssh-keygen并不能生成自动~/.ssh/authorized_keys文件，因此这个文件我们手动加上，并且在修改内容后赋权限:chmod 600 ~/.ssh/authorized_keys
（敲黑板！！），这么做就可以让serverA拿着自己的公钥去远程请求serverB时，跟serverB的公钥匹配一下，如果一致就说明俩人是亲兄弟，不用输密码了。懂我意思吧。
以上一段话基本简化成上方一句命令：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90
编写搬运脚本（三种方式）：
1：Scp传输（适用于少量文件，如千级以下）
脚本内容说明：
通过linux的scp远程传输命令，将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）指定（/home/data/）路径下，然后用rm -r将A服务器指定（/home/data/）路径下的文件删除；
记得给脚本（scp_send90.sh）附上执行属性 chmod 777 scp_send90.sh
贴代码~
#!/bin/bash
#将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）
#指定（/home/data/）路径下
scp -r /home/data/* root@192.168.101.90:/home/data/
#rm -r将A服务器指定（/home/data/）路径下的文件删除
rm -r /home/data/*
2：rsync传输（适用于大量文件传输）
scp传输缺点：
1.搬运慢
2.有时候删除不掉
原因：原本使用的搬运（scp -r）程序原理是一个一个文件搬，效率低，并且删除用rm -rf命令 在文件数量大于一定上限时（实际项目操作中2000个txt文件就会删除失败，抛出list too much）会删除失败；SO，我们使用了半年的搬运程序是存在很大问题的，赶紧处理—>
升级后的程序：
引入了linux中的rsync同步命令，无论在搬运还是删除方面，都是相对最优的，一开始优化时我们使用了强制删除find . -name “*” -exec rm {} ; -print 方式；但是强制删除存在许多不安全因素。
后来我们发现了一种效率更高的方法，原理类似于 echo “” xxx.txt ；没错，就是重定向！
如下图，删除公式的含义为：将A服务器 /home/data/文件夹下的文件同步到/home/clear/文件夹下，然后重定向清空/home/clear/文件夹下的同步内容，这里/home/clear/文件夹充当垃圾桶的角色。
命令：rsync -a --delete /home/clear/ /home/data/
后来就有了图中简洁明了的.sh脚本（注意明确文件夹名后面的“/”），错误日志记录都不需要咯。
记得给脚本（rsync_send90.sh）附上执行属性 chmod 777 rsync_send90.sh
#!/bin/bash
/usr/bin/rsync /home/data/* root@192.168.101.90:/home/data/
/usr/bin/rsync -a --delete /home/clear/ /home/data/
3：expect传输（模拟键盘输入，不需要做免密）
场景重现：我的服务器之间已经做了免密，但是ssh时仍然需要输入密码？
这种问题有两种可能：
1.该服务器属于特殊服务器，在防火墙规则或策略上专门有人配置过；
2.免密没有做好；
这里在提供一种模拟键盘输入的方式，但步骤稍微多一些，大家根据需求来吧。
下面是脚本源码：
#!/bin/bash
#/usr/bin/rsync root@192.168.101.40:/home/0912data/* /home/0912data/
#传输命令，如果遇到让输入密码的话的，模拟输入
expect -c "
spawn rsync /home/0912data/* root@192.168.101.90:/home/0912demo/
expect {
\"*assword\" {set timeout 3000; send \"password\r\";}
\"yes/no\" {send \"yes\r\"; exp_continue;}
}
expect eof"
#删除命令，如果遇到让输入密码的话的，模拟输入
expect -c "
spawn rsync -a --delete /home/clear/ /home/data/
expect {
\"*assword\" {set timeout 3000; send \"password\r\";}
\"yes/no\" {send \"yes\r\"; exp_continue;}
}
expect eof"
但是expect这个工具linux并没有自带，所以我们要安装一下
安装expect步骤：
1.1 yum 安装
yum安装就比较简单了，直接运行yum install expect就可以了.
yum install expect
1.2 源码安装
源码安装前我们需要安装unzip和gcc
yum install unzip gcc -y
源码安装我们需要下载两个源码包。tcl源码包和expect源码包。
下载tcl源码包
cd /tmp &&wget http://core.tcl.tk/tcl/zip/release/tcl.zip
下载expect源码包
wget https://jaist.dl.sourceforge.net/project/expect/Expect/5.45.3/expect5.45.3.tar.gz
我们需要先编译安装tcl，因为expect包依赖于tcl。
解压压缩包并编译安装tcl
unzip tcl.zip && cd ./tcl/unix
./configure && make && make install
解压压缩包并编译安装expect.
cd /tmp && tar -xzvf expect5.45.3.tar.gz && cd expect5.45.3/
./configure && make && make install
检查是否安装好(显示安装好的版本号就是已经安装好了)并创建软链接。
expect -v
[root@localhost shell]# expect -vexpect version 5.45.3
[root@localhost shell]# ln -s /usr/local/bin/expect /usr/bin/expect
总结
我们通过以上方式可以有效的对服务器数据搬运进行操作，linux搬运的方式市面上有很多种，有简单的脚本搬运和复杂的文件管理系统，还是要根据我们的实际情况来进行选择。
不能开会听产品如何造航母，会后自己造的小船都漏水~
上面方式是我接触到的几种搬运方法，如果兄弟们有更有效或简单地搬运方式方法，请在下方留言。
