超大sql 文件导入 sql server sql文件太大无法导入

转载

mob64ca13f8eecb 2023-11-09 08:12:09

文章标签 操作系统数据库后缀 mysql 文章分类 SQL Server 数据库

一、文件压缩与解压

sql文件比较大，通常会压缩至大概十分之一大小。

1、压缩文件 非打包
tar -czvf  test.tar.gz  test.sql   //压缩 test.sql文件为test.tar.gz(会保留原文件)
tar -czvf  test.tar.gz  test/      //压缩目录下的文件 （不过目录的压缩效果就一般了）

2、列出压缩文件内容
tar -tzvf test.tar.gz 
rw-r--r-- root/root     0 2010-05-24 16:51:59 test.sql

3、解压文件
tar -xzvf test.tar.gz (会保留原文件)

二、大文件拆分

今天遇到一个问题，要将一个很大的sql脚本导入数据库，谁可想这个文件已经40G多。刚开始直接导入，结果导入了几个G之后就卡死不再执行了，在网上查了一下，感觉是文件太大了，内存不够无法一次性缓存这么多内容。于是我就想到了拆分文件的方式，被我拆成了100多个文件，之后找到上一次执行的位置，一个个小文件执行，最终完美解决了问题。
只不过有一个注意事项，由于文件是按行拆分的，所以可能会将创建表的create语句截断了，所以执行这个文件之前要先检查一下，如有问题就编辑一下文件再执行。

1.功能：
将文件分割成多个

2.语法：
split [OPTION]... [INPUT [PREFIX]]

3.描述：
将输入文件'INPUT'分割，输出固定大小的文件片段"PREFIXaa,PREFIXab,..."，默认大小为1000行，并且PREFIX的默认值为'x'，如果没有指定输入文件(INPUT文件)，或者输入为-，那么会从标准输入读取。

4.常用参数
-a, --suffix-length=N
使用的后缀的长度，默认长度为2，例如'aa','ab'等后缀，其长度就是2。
-b, --bytes=SIZE
指定每个输出文件片段的大小。
-C, --line-bytes=SIZE
指定每个输出文件片段的最大行字节(???)。
-d, --numeric-suffixes
指定输出文件片段后缀为数字而不是默认的字母形式。
-l, --lines=NUMBER
指定每个输出文件片段的行数。

以上，指定的大小"SIZE"可以用如下的方式指定单位：后缀为b表示512字节，后缀为k表示1K，后缀为m表示1M。

5.本次使用
每300行拆分成一个文件，拆分后的文件名以name开头，以数字作为后缀，后缀长度为3。（比如：name001）
split -l 300 test.sql -d -a 3 name