# 从本地文件加载数据到数据库:使用load data local infile
## 概述
在开发过程中,有时候需要将本地文件中的数据导入到数据库中,这时候我们就可以使用MySQL的`load data local infile`语句来实现。这个功能非常强大,可以帮助我们快速地将大量数据批量导入数据库中。
在本文中,我将详细介绍如何使用`load data local infile`语句来实            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-05-17 13:48:15
                            
                                475阅读
                            
                                                                             
                 
                
                             
         
            
            
            
              发财基本语法:load data [low_priority] [local] infile '文件名称' [replace替换策略 | ignore忽略策略]into table 表名称[fields[terminated by't',字段分隔符设置,默认值为制表符“\t”][optionally] enclosed by '',字符串括起符设置][escaped by'            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-08-03 06:37:34
                            
                                330阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            装载数据 
   
   1、以LOAD的方式装载数据 
   LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1, partcol2=val2 ...)]  
   1) 使用LOCAL这个关键字,那么这个路径应该为本地文件系统路径,是拷贝本地数据到位于            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-21 20:25:42
                            
                                343阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1、DML 数据操作1.1、数据导入1.1.1、 向表中装载数据(Load)语法hive> load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)];load data:表示加载数据local:表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-24 11:40:45
                            
                                160阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive 常用DML操作 一、加载文件数据到表  二、查询结果插入到表  三、使用SQL语句插入值  四、更新和删除数据  五、查询结果写出到文件系统  DML(data manipulation language)数据操纵语言: 就是我们最经常用到的 SELECT、UPDATE、INSERT、DELETE。 主要用来对数据库的数据进行一些操作。一、加载文件数据到表1.1 语法LOAD DATA            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-01 06:52:15
                            
                                103阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive(四)——数据操作向管理表装载数据,指定路径应该是一个目录而非文件(load本地文件不会抛异常,hdfs则不可)# 装载本地文件的数据使用local关键字,装载hdfs数据去掉local关键字即可
LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
OVERWRITE INTO TABLE employees
PARTITIO            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-10 21:45:37
                            
                                131阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1、load data local命令使用方法不指定字段名此写法数据文件内字段数必须跟数据库表一致load data local infile "C:\test.txt" into table tableName CHARACTER SET gbk fields terminated by '|' LINES TERMINATED by 'n';自定义列导入(推荐使用)在生产环境中推荐使用自定义列            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-10 21:43:00
                            
                                182阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 用Hive加载本地数据文件到Hive表中
在Hadoop生态系统中,Hive是一个基于Hadoop的数据仓库工具,可以通过类SQL语言查询和分析大规模数据。在Hive中,可以使用`LOAD DATA LOCAL INPATH`命令将本地文件数据加载到Hive表中,而不是通过Hadoop集群的HDFS来加载数据。
整个过程可以分为以下步骤:
| 步骤        | 操作            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-05-08 11:19:52
                            
                                468阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、加载文件数据到表1.1 语法LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] 
INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
LOCAL 关键字代表从本地文件系统加载文件,省略则代表从 HDFS 上加载文件:从本地文件系统加载文件时, filepath 可以是            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-10 21:45:30
                            
                                239阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive加载数据的几种方式1、load data 加载数据方式2、insert 方式进行加载数据3、from table 多重插入数据方式不多bb,主要介绍一下,多重插入数据方式1、load data 方式load装载数据  LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (p            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-10 20:20:56
                            
                                2159阅读
                            
                                                                             
                 
                
                             
         
            
            
            
             mysql:执行LOAD DATA LOCAL 报错。 我使用navicat for mysql 连接 mysql服务器执行local 可以正常执行 。 show VARIABLES like  '%local%infile%'结果如下:            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2014-05-08 18:31:02
                            
                                2074阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1 本地模式0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过,有时hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况,hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间会明显被缩短。&            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-29 09:13:31
                            
                                104阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            MySQL的文本导入load data local数据文件格式:Aeschylus	time as he grows old teaches many lessonsAlexander Graham Bell	Mr.Watson,come here.i want you!Benjamin Franklin	it is hard for an empty bag to st...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-02-13 09:47:20
                            
                                464阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            MySQL的文本导入load data local数据文件格式:Aeschylus	time as he grows old teaches many lessonsAlexander Graham Bell	Mr.Watson,come here.i want you!Benjamin Franklin	it is hard for an empty bag to st...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-04-14 15:12:46
                            
                                252阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            目录1.向管理表中装载数据2.通过查询语句向表中插入数据动态分区插入3.单个查询语句中创建表并加载数据4.导出数据 1.向管理表中装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
OVERWRITE INTO TABLE employees
PARTITION (country='US', state='CA');如果分区            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-18 22:40:33
                            
                                100阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            load data默认读的是服务器上的文件,但是加上local参数后,就可以将本地具有访问权限的文件加载到数据库中,这在带来方便的同时,也带来了以下安全问题,
可以任意加载本地文件到数据库,
在web环境中,客户从web服务器连接,用户可以使用load data local语句来读取web服务器进程有访问权限的任何文件,
解决办法:--local-infile=0 选项启动mysqld 从服务器端            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-08-26 14:41:31
                            
                                350阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            MySQL的文本导入load data local数据文件格式:Aeschylus	timeashegrowsoldteachesmanylessons...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-02-13 09:43:47
                            
                                214阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            如果你没有给出local,则服务器按如下方法对其进行定位:1)如果你的filename为绝对路径,则服务器从根目录开始查找该文件.2)如果你的filename为相对路径,则服务器从数据库的数据目录中开始查找该文件.如果你给出了local,则文件将按以下方式进行定位:1)如果你的filename为绝对路径,则客户机从根目录开始查找该文件.2)如果你的filename为相对路径,则客户机从当前目录开始            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                            精选
                                                        
                            2014-08-04 12:24:26
                            
                                2110阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            MySQL的文本导入load data local数据文件格式:Aeschylus	timeashegrowsoldteachesmanylessons...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-09-14 11:16:18
                            
                                401阅读
                            
                                                                             
                 
                
                             
         
            
            
            
             
6.1.6 Security Issues with LOAD DATA LOCAL
The LOAD DATA statement can load a file located on the server host, or, if the LOCAL keyword is specified, on the client host.
There are two potent            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2020-04-01 10:59:00
                            
                                114阅读
                            
                                                                                    
                                2评论