mysql 增量数据迁移binlog mysql数据增量备份

转载

bingfeng 2023-10-31 14:13:03

文章标签 mysql 增量数据迁移binlog 数据库运维 shell mysql 文章分类 MySQL 数据库

在数据库表丢失或损坏的情况下，备份你的数据库是很重要的。如果发生系统崩溃，你肯定想能够将你的表尽可能丢失最少的数据恢复到崩溃发生时的状态。本文主要对MyISAM表做备份恢复。

备份策略一：直接拷贝数据库文件
备份策略二：使用mysqldump备份数据库（一个星期全备一次，每天增量备份）

一、直接拷贝数据文件

直接拷贝数据文件最为直接、快速、方便，但缺点是基本上不能实现增量备份。为了保证数据的一致性，需要在备份文件前，执行以下 SQL 语句：FLUSH TABLES WITH READ LOCK;也就是把内存中的数据都刷新到磁盘中，同时锁定数据表，以保证拷贝过程中不会有新的数据写入。这种方法备份出来的数据恢复也很简单，直接拷贝回原来的数据库目录下即可。

为了方便的拷贝出数据文件，我写了一个脚本让其每天运行一次做备份。在/目录下建一个目录用来放置脚本文件，

#mkdir /scripts
 
   
 创建一个备份数据库的一个脚本文件 
   
 
  
#vi backup_mysql.sh  
    

        
    
 
      
    
#!/bin/bash
 
    

        
    
 
      
    
backup_dir=/backup/databak   #备份文件放置目录
 backup_target_dir=/backup/db
 backup_logs_dir=/backup/logs   #备份日志目录
 db=bcmedia 
    

        
    
 
      
    
DATE=$(date +%Y%m%d) 
 #得到10天前的日期
 ccDATE=$(date "-d 10 day ago" +%Y%m%d) 
    

        
    
 
      
    
echo "开始复制数据表"  >> $backup_logs_dir/$db$DATE
 echo "-----------`date +"%Y-%m-%d %H:%M:%S"`--------------------"  >> $backup_logs_dir/$db$DATE 
    

        
    
 
      
    
cp -R /data/$db $backup_target_dir/   #mysql数据库的数据目录为/data
 
    

        
    
 
      
    
echo "开始压缩数据表"  >> $backup_logs_dir/$db$DATE
 echo "------------------------"  >> $backup_logs_dir/$db$DATE 
    

        
    
 
      
    
cd $backup_target_dir
 
    

        
    
 
      
    
tar -zcvf  $backup_dir/db$DATE.tar.gz $db/ >> $backup_logs_dir/$db$DATE
 
    

        
    
 
      
    
if [ $? -eq 0 ]
 then
  echo "backup succeed" >> $backup_logs_dir/$db$DATE
 else
  echo "backup fail" >> $backup_logs_dir/$db$DATE
 fi 
    

        
    
 
      
    
echo "开始删除原数据表"  >> $backup_logs_dir/$db$DATE
 
    

        
    
 
      
    
echo "-----------------------"  >> $backup_logs_dir/$db$DATE
 
    

        
    
 
      
    
rm -rf $backup_target_dir/* && echo “删除原数据表” >> $backup_logs_dir/$db$DATE
 
    

        
    
 
      
    
echo  "删除10天前数据" >>$backup_logs_dir/$db$DATE
 
    

        
    
 
      
    
if [ -e $backup_dir/db$ccDATE.tar.gz ]
 then
  rm -rf $backup_dir/db$ccDATE.tar.gz
  echo "Delete $backup_dir/db$ccDATE.tar.gz succeed" >>$backup_logs_dir/$db$DATE
 else
  echo "Not found $backup_dir/db$ccDATE.tar.gz file" >>$backup_logs_dir/$db$DATE
 fi
 if [ -e $backup_logs_dir/$db$ccDATE ] 
 then
  rm -rf $backup_logs_dir/$db$ccDATE
  echo "Delete $backup_logs_dir/$db$ccDATE succeed" >>$backup_logs_dir/$db$DATE
 else
  echo "Not found $backup_logs_dir/$db$ccDATE file" >>$backup_logs_dir/$db$DATE 
    
fi

保存退出并添加可执行的权限
#chmod 755 backup_mysql.sh
 让脚本每天执行一次，每天备份一次数据库，在crontab 里面添加一行 
  
Crontab –e
 10 4 * * * /scripts/ backup_mysql.sh  #每天4点10分运行脚本备份数据库

还原数据库的时候只要把备份出的文件拷贝到数据库放置数据的目录下，修改权限。重启下数据库就完成了恢复了。

二、使用mysqldump备份数据库

mysqldump 是采用SQL级别的备份机制，它将数据表导成 SQL 脚本文件，在不同的 MySQL 版本之间升级时相对比较合适，这也是最常用的备份方法。关于mysqldump的更详细解释用/MysqlDir/bin/mysqldump –help 来查看详细的解释。
我们使用的数据库备份完成之后有10个G如果每天都做一次全备，不方便，就一个星期做一次全备，一天做一次增量备份。为了不影响线上业务，实现在线备份，并且能增量备份，最好的办法就是采用主从复制机制(replication)，在 slave 机器上做备份。详细的mysqlreplication请参看 mysql主主、主从复制详解

一个星期一次的全备的脚本,脚本文件放在/scripts目录下，备份时需要一些目录，注意需要手动创建。

#vi mysql_full_bak.sh
 #!/bin/bash
 # This is mysql mysqlfullbak scripts
 #2009-08-20
 #badboy
 user=bak   
 passwd=123456
 databak_dir=/backup/cacti   #备份的目录
 eMailFile=$databak_dir/email.txt
 
   eMail=leezhenhua17@163.com DATE=`date +%Y%m%d` 
 logFile=$databak_dir/logs/mysql$DATE.log
 database=cacti
 echo "     " > $eMailFile
 echo "---------------------------------" >> $eMailFile
 echo $(date +"%y-%m-%d %H:%M:%S") >> $eMailFile
 cd /data
 dumpFile=$database$DATE.sql
 GZDumpFile=$database$DATE.tar.gz
 options="-u$user -p$passwd --opt --extended-insert=false --triggers=false -R --hex-blob --flush-logs --delete-master-logs -B $database"
 mysqldump $options > $dumpFile  #导出数据文件
 if [[ $? == 0 ]]; then
   tar cvzf $GZDumpFile $dumpFile >> $eMailFile 2>&1
   echo "BackupFileName:$GZDumpFile" >> $eMailFile
   echo "DataBase Backup Success" >> $eMailFile
   scp $GZDumpFile user@”ip 
   地址”:/Dir   #传送备份文件到另一台计算机，需要做好ssh信任
   rm -f $dumpFile           #删除备份的文件
   rm –rf $databak_dir/daily/*  #删除每天备份的文件
 else
   echo "DataBase Backup Fail!" >> $emailFile
   mail -s " DataBase Backup Fail " $eMail < $eMailFile  #如果备份不成功发送邮件通知
 fi
 echo "--------------------------------------------------------" >> $logFile
 cat $eMailFile >> $logFile

更多mysqldump的选项请查看mysqldump –help

每天增量备份的脚本，定义为每天4点10分时运行此文件，备份上一天4点10分之后到今天4点之前的数据

#vi mysqldailybak.sh
 #!/bin/bash
 # This is mysql mysqldailybak scripts
 # 2009-08-20
 # badboy
 /usr/bin/mysqladmin flush-logs   #
 user=bak
 passwd=123456
 database=cacti
 daily_databak_dir=$databak_dir/daily  #备份目录，需要创建
 eMailFile=$daily_databak_dir/email.txt
 
    eMail=leezhenhua17@163.com 
    
DATE=`date +%Y%m%d` 
 logFile=$daily_databak_dir/mysql$DATE.log
 echo "     " > $eMailFile
 echo "---------------------------------" >> $eMailFile
 echo $(date +"%y-%m-%d %H:%M:%S") >> $eMailFile
 echo "---------------------------------" >> $eMailFile
 TIME=$(date "-d 10 day ago" +%Y%m%d%H%M%S)
 StartTime=$(date "-d 1 day ago" +"%Y-%m-%d %H:%M:%S")
 echo “Delete 10 days before the log ” >> $eMailFile
 mysql -u$user -p"$passwd" -e "purge master logs before ${TIME}" && echo "delete 10 days before log" |tee -a $eMailFile   #删除10天前的2进制文件
 filename=/data/`cat /data/mysql-bin.index |awk -F "/" '{print $2}'`   # 2进制文件
 for i in $filename
 do
 echo "$StartTime start backup binlog " >> $eMailFile
 mysqlbinlog -u$user -p$passwd -d $batabase --start-datetime="$StartTime" $i >> $daily_databak_dir/daily$DATE |tee -a $eMailFile 
 done
 if [ $? = 0 ]
 then
  cd $daily_databak_dir
  tar -zcvf $daily_databak_dir/$database$DATE.tar.gz daily$DATE >>/dev/null 2>&1
  #scp $daily_databak_dir/$database$DATE.tar.gz  
    user@”ip 
    地址”:/Dir  #传送备份文件到另一台计算机，需要做好ssh信任
  echo "daily backup succeed" >> $eMailFile
 else 
  echo "daily backup fail" >> $eMailFile
  mail -s "MySQL Backup" $eMail < $eMailFile  #备份失败之后发送邮件通知
 fi
 cat $eMailFile > $logFile
 添加可执行的权限                              
 #chmod 755 /scripts/mysql_full_bak.sh /scripts/mysqldailybak.sh

加到crontab里面让脚本自动执行，如果有专门用于备份的服务器，可以利用ssh认证、scp命令，自动发送到另一台服务器上，保证数据的安全。可以参看rsync参数详解、利用ssh、rsync 实现数据的定时同步

#su –bak
 
     

         
     
 
       
     
#crontab –e
 
     
10 4 * * 1-6 /scripts/mysqldailybak.sh   #礼拜一到礼拜六运行每天备份脚本
 10 4 * * 0 /scripts/mysql_full_bak.sh   #礼拜天执行全备份的脚本

如果想把备份之后的数据文件，传送到另一台服务器上，做好ssh信任之后把脚本中红色的哪行注释去掉就行。需要更多scp的资料请查看scp --help

本人对shell也不是很懂，如果里面有错误的地方，希望指正。谢谢

转载于:https://blog.51cto.com/colderboy/197614

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。