mysql 大批量插入解决方案

原创

日常笔记 2020-11-30 14:13:43 ©著作权

文章标签 java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者日常笔记的原创作品，请联系作者获取转载授权，否则将追究法律责任

使用场景：

测试时需要插入100w甚至1000w,1亿以上的数据，跑sql脚本循环插入或者程序遍历插入非常慢。

解决思路：

写入文件
文件导入到mysql中

实现举例(以100w为例)

使用sql 生成100w数据到txt文件中。

public static void main(String[] args) throws IOException {        // TODO Auto-generated method stub
        BufferedWriter writer = new BufferedWriter(new FileWriter(new File("D:/driver/data.txt"), true));        for(int i=0;i<1000000;i++){            if(i%10==0){
                writer.write("赵"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }if(i%10==1){
                writer.write("钱"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }            if(i%10==2){
                writer.write("孙"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }if(i%10==3){
                writer.write("李"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }            if(i%10==4){
                writer.write("郑"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }if(i%10==5){
                writer.write("吴"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }            if(i%10==6){
                writer.write("周"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }if(i%10==7){
                writer.write("王"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }            if(i%10==8){
                writer.write("张"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }if(i%10==9){
                writer.write("刘"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n");
            }
        }
        writer.close();
    }

2. 数据库中将数据导入表中：

create table person(  
id int not null auto_increment,  
name varchar(40) not null, 
age int, 
primary key(id)  
)engine=innodb charset=gb2312;load data local infile 'D:/driver/data.txt' into table person(name,age);select count(*) from person;

耗费时间：