hive TB级数据迁移 hive数据导入方式

导入方式

 

1、load方式

load data local inpath 'local_path' into table tb_name;

从本地复制了文件到表的路径下
应用场景：大部分的使用，文件几乎都是默认现在本地的

 

2、load方式，HDFS

load data inpath 'hdfs_path' into table tb_name;

将文件移动到了表的路径下
应用场景：更适合大数据量的存储

 

3、load方式，overwrite

load data inpath 'hdfs_path' overwrite into table tb_name;

应用场景：适合一些重复写入的表（临时表），作为一个过渡使用

 

4、子查询方式，as

create table tb_name as select sql;

应用场景：对于数据查询结果的保存

 

5、insert方式
传统关系型数据库中，insert是插入一个值
在hive中insert into table后面还是跟一个语句（select语句）

insert into table select sql；

举例：

create table emp_insert like emp;
insert into table emp_insert select * from emp;

 

6、location
指定一个文件夹，然后将数据导入进去

 

导出方式

 

1、insert方式
格式：insert overwrite [local] directory 'path' select sql;
数据导出到本地

insert overwrite local directory '/opt/datas/emp_in01' select * from emp; 
	-》输出的目标可以提前存在，底层实现的时候，先删除再重新创建
	-》指定分隔符
	insert overwrite local directory '/opt/datas/emp_in01' row format delimited fields terminated by '\t' select * from emp;
	-》HDFS
	insert overwrite directory '/emp_insert' select * from emp; 
	-》注意：上一级的父目录必须存在

 

2、HDFS SHELL命令 -get

bin/hdfs dfs -get hdfs_path local_path

 

3、在Linux的命令行使用hive的-e -f参数，将输出重定向保存到本地文件

bin/hive -e "select * from student" > /opt/datas/

 

4、sqoop方式

如：

bin/sqoop export \
--connect \
jdbc:mysql://hostname:3306/sqoop \
--username root \
--password 123456 \
--table tomysql \
--export-dir /sqoop \
--num-mappers 1 \      --->设置分片个数
--input-fields-terminated-by '\t'   --->设置分隔符

 

5、hive支持export和import

-》export
	export table tb_name to 'hdfs_path'
	-》import
	import table tb_name from 'hdfs_path'