1.遇到的问题项目中遇到导入6w条数据,之前用的poi,感觉很慢,这时查询了下阿里巴巴提供了开源的easyExcell很好用。EasyExcel官方文档 - 基于Java的Excel处理工具 | Easy Excel2.读写速度64M内存20秒读取75M(46W行25列)的Excel(3.0.2+版本)3.代码实现代码出处:读Excel | Easy Excel最简单的读取对象@Getter
@S            
                
         
            
            
            
            # 加快mysql导入Excel速度
在日常开发中,我们经常会遇到将Excel文件中的数据导入到mysql数据库中的需求。然而,有时候我们会发现这个过程速度很慢,特别是当Excel文件中包含大量数据时。那么,如何加快mysql导入Excel的速度呢?下面我们将介绍一些方法来优化这个过程。
## 使用LOAD DATA LOCAL INFILE
在mysql中,可以使用`LOAD DATA LO            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-07-06 05:08:51
                            
                                98阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            https://jingyan.baidu.com/article/0f5fb09915402a6d8334eab0.html            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2020-08-06 14:59:00
                            
                                450阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            首先建好一个和Excel表字段对应字段的表,然后 select t.* from 表名 t for update; 点击这个锁子,打开它 粘贴,然后 再提交事务即可            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-07-20 11:39:04
                            
                                762阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            近期有一个行业项目,需要把较大数据从文件中导入到oracle。
我们使用oracle的sqlldr导入数据,当数据量较大时导入的时间过长:导入一张8千万条记录的表需要2.5个小时,太慢了。
后来采用了sqlldr并行导入的方式将时间缩短到了0.8小时,这里记录一下使用过程。            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                            精选
                                                        
                            2014-08-13 14:16:38
                            
                                2684阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            转载自:  http://blog.csdn.net/quanleilei123/article/details/5770943 工具选择    数据库 ORACLE11G    编程语言 JAVA首先是使用JAVA语言编写一个解析EXCEL文件的小代码,这里需要一个工具JXL.JAR,这是个JAR包,有了它,我们就可以轻松的把EXCEL文件解析如            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                            精选
                                                        
                            2013-08-26 13:00:01
                            
                                565阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1. 打开pl/sql,如图所示界面,点击菜单栏中的T00LS  下的ODBC Imtorper(ODBC导入器),打开ODBC Importer选项框 2. plsql客户端,在Data fromODBC页 中选择需要导入的文件的格式,选择ExcelFiles.输入 当前ql/sql的登陆用户 的用户名和密码。然后点击Connect 3.在跳出的选择工作簿对话框,选择所要导入            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-08-28 09:34:34
                            
                                1747阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            选择需要导入的文件的格式,选择[color=red]ExcelFiles[/color].输入 当前ql/sql的登陆用户 的用户名和密码。然后点击Connect3.在跳出的选择工作簿对话框,选择所要导入的Excel文件,点击确定,可以查看数据4.点击Date to Oracle按钮,打开Date to Oracle选项框,选择登陆用户名,选则你要导入的表名,并指定excel列数据所对应的字段和类型,点击Import将成批数据导入Oracle数据库中,这样就完成了导入数据。            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-08-28 09:34:38
                            
                                1642阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            数据的录入0引言1、从外部导入数据2、内部自动填充操作2.1自动填充和排序的列表2.2等差等比数列2.3日期的录入3、多个不连续的单元格录入数据快捷键4、从下拉列表中选择5、总结 0引言Excel作为office三件套之一,有着高效完备的数据处理功能。但是处理数据需要从外部导入或者手动录入数据。那么高效的方法是我们需要了解的。本篇介绍一下主要的录入数据的技巧。 注:本内容使用的软件是office            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-09 13:24:36
                            
                                68阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            摘要:在程序编制过程和数据汇总交换过程中,经常会碰到需要将其他人员在office办公环境下编制的文件数据内容导入oracle中的情况。目前程序开发者经常使用的方法有如下几种:1,使用oracle提供的导入工具sql*loader;2,使用plsql developer工具;3使用其他数据转移工具做中转站。下面我们采用实例的方式分别描述几种导入方式的优缺点及其操作步骤。假设‘e:\test.xls’            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-28 13:32:14
                            
                                50阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            第一步:修改Excel 1.将Excel的表头修改为目标数据库中表的字段名 2.去重(如果有需要的话) 删除Excel表中的重复数据: 选择去重的列: 删除成功后提示: 第二步:将修改后的Excel另存为:*.txt格式(英文名) 注意:文件类型选择 文本文件(制表符分隔)(*.txt) 可以打开该            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2016-06-01 14:28:00
                            
                                504阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            1.录入excel测试表格,test.xls。2.另存为.csv格式3.创建sql*loader控制文件test.ctl,内容如下:Load 
dataInfile 'c:\test.csv'insert Into table test Fields terminated by 
','(column1,column2,column3,column4,column5)需要将数据文件拷贝到对应位置4            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-05-11 14:26:42
                            
                                1556阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            常用输入步骤属于ETL中的E,导入数据。csv文件输入csv文件是一种有固定格式的文本文件。具体用法在第一个例子中已经详解,不再赘述。Excel文件输入Excel有两种后缀名: .xls和.xlsx。输入不同的后缀名文件需要选择不同的引擎。同时也可以选择同一目录下的所有文件。选择目录,然后通配符号通配文件,也可以选择是否读取当前目录下子目录的文件。Get data from XMLXML是可扩展标            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-16 11:46:08
                            
                                104阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            本帖最后由 rsgg03 于 2015-3-30 20:51 编辑问题导读1.HiveServer和HiveServer2都有哪两种模式?2.HiveServer与HiveServer2驱动类有什么不同?3.HiveServer2存在哪三种连接URL?4.hive与JDBC数据类型是如何对应的?HiveServer和HiveServer2都有两种模式,分别为嵌入式和单机服务器模式,对于嵌入式URI            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-23 11:20:23
                            
                                60阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            之前做过一个从Oracle导出到Excel的批处理,简单点说就是通过Sqlplus将表数据Spool到一个文本文件中或简化的Excel格式文档中,而这里我要做的事恰好相反,工具则是使用sqlldr, sqlldr的用法没有研究太多,这里主要用写写如何使用批处理来调用实现导入的自动化过程。
主要工作涉及到以下几块:
1. 将Excel转换成csv格式的文件,这里要借助工具xls2csv.exe实            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                            精选
                                                        
                            2010-12-11 14:18:17
                            
                                3461阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            实现目的:往oracle数据库中,插入excel文件中的数据   实现步骤:  1、打开MicroSoft Excel 2000   2、文件(F)→新建(N)→工作簿→   3、输入数据后,存盘为test.xls,  4、文件(F)→另存为(A)→   保存类型为:制表符分隔,起名为text.txt,保存到C:   5、须先创建表结构:  连入S            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2009-08-05 22:51:00
                            
                                758阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            实现目的:往oracle数据库中,插入excel文件中的数据 实现步骤: 1、打开MicroSoft Excel 2000 2、文件(F)→新建(N)→工作簿→ 3、输入数据后,存盘为test.xls, 4、文件(F)→另存为(A)→ 保存类型为:制表符分隔,起名为text.txt,保存到C: 5、须先创建表结构: 连入SQL*Plus,以system/manager用户登录, SQL> conn system/manager 创建表结构 SQL> create table test ( id number, --序号username va...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2009-08-05 22:51:00
                            
                                277阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            方法一、使用SQL*Loader这个是用的较多的方法,前提必须oracle数据中目的表已经存在。大体步骤如下:1、将excel文件另存为一个新文件比如文件名为text.txt,文件类型选文本文件(制表符分隔),这里选择类型为csv(逗号分隔)也行,但是在写后面的control.ctl时要将字段终止符改为','(fields terminated by ','),假设保存到c盘根目录。2 、如果没            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2013-07-16 13:28:00
                            
                                117阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            首先导Excel表数据要先建和Excel表字段对应的表,然后将Excel表另存为Txt文本, 然后在Plsql客户端点击工具->文本导入器 然后...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-07-04 12:04:04
                            
                                152阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            将excel另存为csv文件 使用plsql 工具-文本导入器 文本的数据 选择csv文件 引号字符选择单引号 到oracle的数据库 选择用户,表,对应好字段,点击导入 注意:excel中若存在特殊字符会导致导入失败 常见有英文逗号,中英文?,换行符等 解决办法:英文逗号替换为中文逗号,中英文 ...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2021-07-15 14:37:00
                            
                                694阅读
                            
                                                                                    
                                2评论