【问题原因】服务器突然断电
【故障报告】数据库表结构损坏
【解决思路】进入强制恢复模式,备份库表及数据重建

故障发现

周末公司断电,周一启动数据库就直接报错了

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_mysql


查看日志

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_数据_02

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_数据库_03

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_mysql 服务器上数据库 自动断开_04

上面标记的log,明确表示是非正常关机(InnoDB: Database was not shutdown normally!)导致表结构损坏了,并且在最后给出了三种修复建议:
1)权限问题。我的文件无此类问题,略过该方案
2)跳过当前表恢复。我出错的表比较重要,全额无法通过备份恢复,所以该方案也不合适
3)调整强制恢复级别,强制修复表结构。我后续的处理,使用了选择了该方案。

备注:断电时往往数据结构都还是好的,只是mysql事务未完成,有坏的数据在这里,所以有错误。 理论上只要修复表结构、去除坏的数据,mysql就可以正常恢复了。

处理故障

如上所述,权衡之后,我采用了强制启动+导出数据重建的方式。

调整强制恢复级别

找到配置进入编辑模式:# vim /etc/my.cnf

在[mysqld]配置项下面配置(配置前需要检查,如果配置文件中已有该配置,将值改为6;如果没有则新增这项配置。)

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_mysql 服务器上数据库 自动断开_05

配置文件中调整级别:(配置前需要检查,如果配置文件中已有该配置,将值改为6;如果没有则新增这项配置。)

因为之前也遇到过类似问题,低级别恢复失败了。所以我这里直接使用级别6:跳过启动检测直接进行库表重建。
如果是其他情况的启动异常,具体问题分析后再确定采用哪个级别。

innodb_force_recovery参数说明:

影响整个InnoDB存储引擎的恢复状况,默认值为0,表示当需要恢复时执行所有的恢复操作。 当不能进行有效的恢复操作时,MySQL有可能无法启动,并记录下错误日志。

innodb_force_recovery可以设置为1-6,大的数字包含前面所有数字的影响。 当设置参数值大于0后,可以对表进行select/create/drop操作,但insert/update/delete这类操作是不允许的。

1 (SRV_FORCE_IGNORE_CORRUPT):忽略检查到的corrupt页

2 (SRV_FORCE_NO_BACKGROUND):阻止主线程的运行,如主线程需要执行full purge操作,会导致crash

3 (SRV_FORCE_NO_TRX_UNDO):不执行事务回滚操作。

4 (SRV_FORCE_NO_IBUF_MERGE):不执行插入缓冲的合并操作。

5 (SRV_FORCE_NO_UNDO_LOG_SCAN):不查看重做日志,InnoDB存储引擎会将未提交的事务视为已提交。

6 (SRV_FORCE_NO_LOG_REDO):不执行前滚的操作。
启动MySQL

配置改好后,就可以启动了。

启动方式选择常用的即可,但不能重复执行,否则提示进程已存在。

/etc/init.d/mysql start(在centos7.0以上版本已被systemctl start mysqld.service替代)
或者
service mysql start

正常启动后,注意此时我们只是跳过了启动检查,表数据仍然是坏的。新的数据读写操作进来,仍然可能会出错,甚至导致脏数据滚雪球般放大。因此需要修复数据
修复数据文件

修复数据采用的是导出后重建。

导出数据方式一
使用mysqldump命令导出:

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_mysql 服务器上数据库 自动断开_06

如果数据顺利导出了,可以直接查看下一节重建。

导出数据方式二

使用navicat数据库连接工具远程连接数据库。

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_mysql_07

常见问题

提示密码过期

操作时出现了密码过期的提示:

尝试直接登录数据库后,没问题,但任何操作都会提示重设密码:

原因暂时不清楚,毕竟只是断电,没有数据库升级或其他动作。我直接按提示重设密码

能正常读了,接着执行备份:

执行命令:mysqldump -uroot -p --default-character-set=utf8 acc > ./acc.sql

输入密码,备份成功。

如果损坏的是MySQL系统表,无法dump

重建

此时数据已备份好,最大的风险已经没有了。

为了保险起见,接下来的操作前,可以把数据文件备份。

zip -r mysql_bak.zip /var/lib/mysql     或者直接将MySQL家目录改名(因为目前数据库已停止,不需要关闭数据库)     mv /var/lib/mysql /var/lib/mysql_bak-user-date

有的人建议直接直接物理删除目录和里面的frm与ibd文件,找到mysql的data目录,找到目标库,删除整个目录,但是我没有成功。

我建议直接完全卸载mysql,直接重装数据库,因为我们现在最重要的数据已经备份出来了。这种方法百试不爽,从来没有失败过。

卸载数据库(注意使用脚本前修改相应的目录路径)

#!/bin/bash

#SelfDir
SelfDir=$(cd "$(dirname "$0")";pwd) 
echo "cerrent path is :${SelfDir}"

mysql='mysql'


if [ `rpm -qa | grep -i $mysql | wc -l` -ne 0 ]
then 
echo " installed  mysql "
service mysql stop
EXISTS_RPMS=`rpm -qa | grep -i mysql`
echo ${EXISTS_RPMS}
for RPM in ${EXISTS_RPMS}

do
 rpm -e --nodeps ${RPM}

done
## 删除残留文件
rm -fr /usr/lib/mysql
rm -fr /usr/include/mysql
rm -f /etc/my.cnf
rm -fr /var/lib/mysql
rm -f /root/.mysql_secret
else 

echo "start install mysql ...." 

fi


echo 'finished!'

重装MYSQL(这里就不演示了,需要安装之前部署的mysql版本,可以在网上查mysql安装部署)

导入备份数据

将my.cnf中的innodb_force_recovery配置改为0或直接删掉(无该配置项时MySQL默认为0)

然后重建数据库

mysql 服务器上数据库 自动断开 解决mysql数据库异常断电_mysql 服务器上数据库 自动断开_08

成功完成还原。

启动应用服务正常,数据库访问正常。

整个恢复过程基本完成。

windwos服务器的恢复流程与上述一样,只是服务的启停方式,文件后缀名,卸载安装操作不一样而已

windwos启停mysql net start/stop mysql或者到“服务”中启动,停止 windwos配置文件 my.ini