功能描述:功能主要是实现大批量数据写入的高性能

  一、首先需要连接数据库,对数据库进行配置初始化,然后执行批处理。

         1)采用线程池的方式

              

mysqldump 大批量数据 mysql大批量数据入库_连接池

 

 

     2)批量写入

       

mysqldump 大批量数据 mysql大批量数据入库_批处理_02

                     

mysqldump 大批量数据 mysql大批量数据入库_数据库_03

                       如果数据量大的话可以分批处理:

           

mysqldump 大批量数据 mysql大批量数据入库_批处理_04

 

 

  1.  pstm.addBatch();pstm.executeBatch(); 执行sql批处理
  2.  conn.getConn().setAutoCommit(false); 的参数与 conn.getConn().setAutoCommit(true);参数的区别

                    (1)默认是true自动提交,在执行增,删,改的是时候直接自动提交,无法回滚事务。

                    (2)设置为false时,只有程序调用connection.commit()的时候才会提交,可以调用commit或者rollback方法。这就实现了数据库的事务。 

   

    二、连接池实现,好像之前也是网上找到的一个连接池实现实例,记不清楚了,现把具体的连接过程粘出来

          文件结构:

         

mysqldump 大批量数据 mysql大批量数据入库_数据库_05

mysqldump 大批量数据 mysql大批量数据入库_批处理_06

         

mysqldump 大批量数据 mysql大批量数据入库_连接池_07

 

       

mysqldump 大批量数据 mysql大批量数据入库_数据库_08

 

 

mysqldump 大批量数据 mysql大批量数据入库_批处理_09

 

         

mysqldump 大批量数据 mysql大批量数据入库_数据库_10

 

        

mysqldump 大批量数据 mysql大批量数据入库_批处理_11

 

       

mysqldump 大批量数据 mysql大批量数据入库_批处理_12

 

        

mysqldump 大批量数据 mysql大批量数据入库_数据库_13

 

 

mysqldump 大批量数据 mysql大批量数据入库_数据库_14

 

         

mysqldump 大批量数据 mysql大批量数据入库_数据库_15

 

        以下是设置开始事务配置,就是上边提到的

       

mysqldump 大批量数据 mysql大批量数据入库_连接池_16

 

         

mysqldump 大批量数据 mysql大批量数据入库_数据库_17

 

     

mysqldump 大批量数据 mysql大批量数据入库_批处理_18

 

    

mysqldump 大批量数据 mysql大批量数据入库_批处理_19

 

        

mysqldump 大批量数据 mysql大批量数据入库_批处理_20