hive select 数据慢 hive select as

文章目录

• 1.创建DataBase
• 2.查看DataBase相关信息
• 3.删除DataBase
• 4.Hive表操作

• 4.1 创建一个名为cat的表，有两个字段，cat_id,cat_name类型为string
• 4.2 创建一个外部表cat2，有两个字段，cat_id,cat_name类型为string
• 4.3 修改cat表结构，对cat添加group_id和cat_code
• 4.4 将cat2改名为cat3，然后删除
• 4.5 根据已有cat表创建一个与cat结构相同的表cat4

• 5.Hive数据的导入

• 5.1 从本地文件系统中导入数据到Hive
• 5.2 将HDFS数据导入Hive

• 5.2.1 先将数据上传到HDFS
• 5.2.2 在Hive创建一个表用来存储从HDFS将导入的数据

• 5.3 从别的表查询相应的数据导入Hive

• 6.Hive数据的导出

• 6.1 导出到本地
• 6.2 导出到HDFS
• 6.3 导出到Hive表

Hive定义了一套自己的SQL，简称HQL，它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。

1.创建DataBase

create database if not exists DB;

在创建库时，应避免新建的库名与已有库名重复，如果库名重复将会报出以下错误（我在已有DB库的前提下，再次创建了DB库）。

2.查看DataBase相关信息

describe database DB;

3.删除DataBase

drop database if exists DB；

4.Hive表操作

Hive数据表包括内部表和外部表
Hive创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据，生产中常使用外部表。

4.1 创建一个名为cat的表，有两个字段，cat_id,cat_name类型为string

create table cat(cat_id string,cat_name string);
show tables;

4.2 创建一个外部表cat2，有两个字段，cat_id,cat_name类型为string

create external table if not exists cat2(cat_id string,cat_name string);

4.3 修改cat表结构，对cat添加group_id和cat_code

alter table cat add columns(group_id string,cat_code string);
desc cat;

4.4 将cat2改名为cat3，然后删除

alter table cat2 rename to cat3;
drop table cat3;

4.5 根据已有cat表创建一个与cat结构相同的表cat4

create table cat4 like cat;

5.Hive数据的导入

5.1 从本地文件系统中导入数据到Hive

首先创建一个表用来存储数据
在Hive中创建一个cat_group表，包含group_id和group_name两个字段，字符类型为string，以“\t”为分隔符。

create table  cat_group(group_id string,group_name string) row format delimited fields terminated by '\t' stored as textfile;

然后将本地数据导入Hive中

load data local inpath '/data/cat_group' into table cat_group;

查看结果

select * from cat_group limit 10;

5.2 将HDFS数据导入Hive

5.2.1 先将数据上传到HDFS

hadoop fs -mkdir /myhive

-put 本地路径 HDFS路径

hadoop fs -put /data/cat_group /myhive

hadoop fs -ls /myhive

此时成功的话会有显示

5.2.2 在Hive创建一个表用来存储从HDFS将导入的数据

create table  cat_group1(group_id string,group_name string) row format delimited fields terminated by '\t' stored as textfile;

或者

create table  cat_group1 like cat_group;

导数据

load data inpath '/myhive/cat_group' into table cat_group1;

查看结果

区别就是多少一个local

殊途同归，兵分两路，顶峰相见。

5.3 从别的表查询相应的数据导入Hive

先创建一个表cat_group2

create table  cat_group2(group_id string,group_name string) row format delimited fields terminated by '\t' stored as textfile;

或者

create table  cat_group2 like cat_group;

向cat_group2导入cat_group1的数据

insert into table cat_group2 select * from cat_group1;

或者

insert overwrite table cat_group2 select * from cat_group1;

在创建表的时候从别的表中查询出相应数据并插入到所创建的表中。

create tabel cat_group3 as select * from cat_group2;

6.Hive数据的导出

6.1 导出到本地

首先创建导出路径
终端执行：

mkdir -p /data/hiveout

Hive SHell执行：

insert overwerte local directory '/data/hiveout' select * from cat_group2;

终端：

cd /data/hiveout
ls
cat 000000_0

便于观察，加空格输出

SQL CONCAT函数用于将两个字符串连接起来，形成一个单一的字符串。

insert overwrite local directory '/data/hiveout' select group_id,concat('\t',group_name) from cat_group;

终端：

cd /data/hiveout
ls
cat 000000_0

6.2 导出到HDFS

和上面类似，找到正确路径，去掉local即可。

6.3 导出到Hive表

类似5.3