QT 通用数据库数据导入导出方案

      QT提供了通用的数据库接口可以很方便的处理各种数据库,在项目中经常会遇到数据库数据的导入导出的需求. 由于各个数据库的DDL差异比较大,无法做到导出表结构的通用方案,这个只能借助相应数据库特有的SQL语句或者工具来解决, 如postgresql的COPY命令和pg_dump工具等. 

     Navicat工具的导入导出功能做的非常不错,能够导出包含表结构和二进制数据的sql文件. 

     需解决问题:

     1. 取出数据,组装insert语句

     2. 对于二进制数据,无法做到像navicat那样可以直接执行sql语句执行. 只能转化为十六进制文本格式. 在导入时自动解析

     3. 对于数据库建表语句, 目前无法提供通用的导出方式,只能借助工具

 

一. 数据导出

/**
 *@brief 导出数据库数据到文件中
 *@param path 文件路径
 */
void ExportDB(const QString &path)
{
  QStringList vList;

  // 导出数据库所有名称以auth开头的表
  QStringList tables=gAuthDB.tables();
  foreach(QString table,tables)
  {
    if(!table.startsWith("auth"))
      continue;

    QSqlQuery query(gAuthDB);
    QString sql=QString("select * from %1").arg(table);
    query.exec(sql);

    QSqlRecord record=query.record();
    while(query.next())
    {
      QString prefix=QString("insert into %1(").arg(table); // 记录属性字段名
      QString suffix="values("; // 记录属性值

      // 遍历属性字段
      for(int i=0;i<record.count();i++)
      {
        QSqlField field=record.field(i);
        QString fieldName=field.name();

        switch(field.type())
        {
        case QVariant::String:
          prefix+=fieldName;
          suffix+=QString("'%1'").arg(query.value(i).toString());
          break;
        case QVariant::ByteArray:
          {
            prefix+=fieldName;
            QByteArray data=query.value(i).toByteArray();
            if(data.isNull())
            {
              suffix+="null";
            }else
            {
              suffix+=QString("E'%1'").arg(data.toHex().data()); // blob数据按16进制格式导出
            }
          }
          break;
        default:
          prefix+=fieldName;
          suffix+=query.value(i).toString();
        }

        if(record.count()==1)
        {
          prefix+=")";
          suffix+=")";
        }else if(i!=record.count()-1)
        {
          prefix+=",";
          suffix+=",";
        }else if(i==record.count()-1)
        {
          prefix+=")";
          suffix+=")";
        }
      }

      // 组装sql语句 insert into auth_test values(0,'hello',E'003f')
      QString iSql=QString("%1 %2;").arg(prefix).arg(suffix);
      vList.append(iSql);
    }
  }

  QFile file(path);
  file.open(QIODevice::WriteOnly|QIODevice::Truncate);

  // 将sql语句写入文件
  QTextStream out(&file);
  foreach(QString line,vList)
  {
    out<<line+"\n";
  }
}

 

二. 数据导入

/**
 *@brief 读取sql文本内容,并写入至数据库
 *@param path sql文件路径
 */
void ImportDB(const QString &path)
{
  QSqlQuery query(gAuthDB);
  QFile file(path);
  file.open(QFile::ReadOnly);

  QTextStream in(&file);
  while(!in.atEnd())
  {
    QString sql=in.readLine();

    // 通过分析values(E'),判断是否有二进制数据,如没有直接运行sql语句,如有则需要将16进制文本转换为blob数据
    QRegExp reg("E'([0-9a-f]{1,})'");
    if(!sql.contains(reg))
    {
      query.exec(sql);
    }else
    {
      int pos=0;
      QStringList bList;

      // 探索所有的blob字段
      while((pos=reg.indexIn(sql,pos))!=-1)
      {
        bList.append(reg.cap(0));

        QString blob=reg.cap(1);
        pos+=reg.matchedLength();
      }

      // blob字段填充占位符
      foreach(QString key,bList)
      {
        sql.replace(key,"?");
      }

      query.prepare(sql);

      // 绑定占位符数据
      for(int i=0;i<bList.size();i++)
      {
        // 去除E''
        QString hexBlob=bList[i].mid(2,bList[i].size()-1);
        // 还原16进制数据
        QByteArray ba=QByteArray::fromHex(hexBlob.toLocal8Bit());

        query.bindValue(i,ba);
      }

      query.exec();
    }
  }
}