一、背景

云上虚机做切换演练,应用架构为集群模式,服务器上也部署了自启动脚本,理论上只要重启服务器然后检查应用和业务状态就行,但是重启后应用启动不了,手动执行自启动脚本或手动执行应用拉起命令也失败。

二、生产环境模拟

1.模拟文件系统

[root@node01 <sub>]# lvcreate -L +10G -n logs root-vg
[root@node01 </sub>]# mkfs.xfs /dev/root-vg/logs
[root@node01 ~]# mount /dev/root-vg/logs /home/loong/logs

新建lv logs,文件系统挂载点为/home/loong/logs,此时文件系统/home和/home/loong/logs使用率都为1%。

记一次生产上因fstab配置错误造成的应用拉起失败_/etc/fstab

2.模拟生产目录结构

目录结构说明:/home/loong为应用目录,存储了应用包、启停命令等内容;/home/loong/logs为日志目录,存储了应用的日志。

[root@node01 ~]# cd /home
[root@node01 /home]# mkdir loong
[root@node01 /home]# cd loong/
[root@node01 /home/loong]# mkdir log

3.模拟应用和日志文件

[root@node01 /home/loong]# touch {1..5}.txt
[root@node01 /home/loong]# touch app{1..10

记一次生产上因fstab配置错误造成的应用拉起失败_生产环境_02

app1--app10和1.txt--5.txt模拟应用目录/home/loong下的应用文件

[root@node01 /home/loong]# cd logs/
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/error.log
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/info.log
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/alert.lo

模拟日志error.log、info.log和alert.log,大小都为300M

记一次生产上因fstab配置错误造成的应用拉起失败_生产环境_03

可以看到此时文件系统/home/loong/logs使用率已经涨到了10%

4.模拟生产/etc/fstab配置

[root@node01 /home/loong/logs]# more /etc/fsta

记一次生产上因fstab配置错误造成的应用拉起失败_生产环境_04

文件系统/dev/mapper/root--vg-logs的挂载点被错误的设置为/home/loong

三、生产环境复现

1.重启服务器

服务器重启前在应用目录/home/loong下我们可以看到txt和app文件,在日志目录/home/loong/logs可以看到3个日志文件,现在重启服务器,模拟生产切换

[root@node01 ~]# init 

2.文件检查

记一次生产上因fstab配置错误造成的应用拉起失败_日志文件_05

重启服务器后检查文件,发现应用目录下/home/loong的所有txt和app文件丢失,呈现的是原来的3个日志文件。

3.手动恢复

首先umount /home/loong,如果执行不成功可以用fuser -k /home/loong命令杀掉暂用该目录的进程

记一次生产上因fstab配置错误造成的应用拉起失败_生产环境_06

手动的umount /home/loong后发现该目录原来的txt和app文件已经能被看到,但是logs目录下还为空

[root@node01 /home/loong/logs]# mount /dev/root-vg/logs /home/loong/logs

记一次生产上因fstab配置错误造成的应用拉起失败_生产环境_07

手动挂载并重新登陆/home/loong/logs后看到了3个日志目录。

4.问题解决

修改/etc/fstab,将日志挂载点修改为正确的/home/loong/logs

记一次生产上因fstab配置错误造成的应用拉起失败_日志文件_08

修改完后再次重启验证,发现日志挂载点正常,应用和日志目录文件均正常,问题解决。

四、总结

晚上做变更的时候nginx应用各种方式都起不来,报配置有误,仔细检查各个配置文件没发现有什么问题,然后检查应用目录,发现里面的文件很不正常,包和启停脚本都丢失了,而且还多了日志文件,于是怀疑是挂载的问题,检查/etc/fstab文件果然是配置有误。

/etc/fstab是用来存放文件系统的静态信息的文件,当系统启动的时候,系统会自动地从这个文件读取信息,并且会自动将此文件中指定的文件系统挂载到指定的目录。该文件很重要,一定要配置正确,否则可能会引起大问题。