hive 的输入输出格式

原创

mob64ca12d2dee8 2023-09-08 00:14:56 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12d2dee8的原创作品，请联系作者获取转载授权，否则将追究法律责任

Hive 的输入输出格式实现流程

介绍

Hive 是基于 Hadoop 的一个数据仓库工具，它提供了类似于 SQL 的查询语言 HQL，可以将结构化数据映射到 Hadoop 的分布式文件系统上进行处理。Hive 支持多种输入输出格式，如文本文件、序列文件、Parquet、ORC 等。在本文中，我们将讨论如何在 Hive 中实现输入输出格式。

流程图

sequenceDiagram
    participant Developer
    participant Novice
    
    Developer ->> Novice: 介绍 Hive 输入输出格式实现的流程
    Novice ->> Developer: 开发者理解流程
    Developer ->> Novice: 提供每一步需要做的事情和代码
    Novice ->> Developer: 小白理解每一步的事情和代码
    Developer ->> Novice: 给出总结和建议
    Novice ->> Developer: 小白感谢开发者的帮助

实现步骤

下面是实现 Hive 输入输出格式的步骤，以及每一步需要做的事情和代码：

步骤	描述	代码示例
1	创建外部表	`CREATE EXTERNAL TABLE employee (id INT, name STRING, age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/user/hive/employee';`
2	将数据加载到外部表	`LOAD DATA INPATH '/user/hive/employee_data.txt' INTO TABLE employee;`
3	查询外部表数据	`SELECT * FROM employee;`
4	创建内部表	`CREATE TABLE employee_internal (id INT, name STRING, age INT) STORED AS ORC TBLPROPERTIES ("orc.compress"="snappy");`
5	将外部表数据插入到内部表	`INSERT INTO TABLE employee_internal SELECT * FROM employee;`
6	查询内部表数据	`SELECT * FROM employee_internal;`

代码解释

下面是每一步的代码示例，并对其进行了注释：

创建外部表：
```
CREATE EXTERNAL TABLE employee (id INT, name STRING, age INT) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
LOCATION '/user/hive/employee';
```
- CREATE EXTERNAL TABLE：创建外部表
- ROW FORMAT DELIMITED：指定行格式为分隔符格式
- FIELDS TERMINATED BY ','：指定字段之间的分隔符为逗号
- LOCATION '/user/hive/employee'：指定外部表的存储路径
将数据加载到外部表：
```
LOAD DATA INPATH '/user/hive/employee_data.txt' INTO TABLE employee;
```
- LOAD DATA INPATH：加载数据到表中
- '/user/hive/employee_data.txt'：数据文件的路径
- INTO TABLE employee：指定数据加载到哪个表中
查询外部表数据：
```
SELECT * FROM employee;
```
- SELECT *：查询所有列
- FROM employee：从 employee 表中查询数据
创建内部表：
```
CREATE TABLE employee_internal (id INT, name STRING, age INT) 
STORED AS ORC 
TBLPROPERTIES ("orc.compress"="snappy");
```
- CREATE TABLE：创建内部表
- STORED AS ORC：指定表的存储格式为 ORC
- TBLPROPERTIES ("orc.compress"="snappy")：指定 ORC 表的压缩方式为 Snappy
将外部表数据插入到内部表：
```
INSERT INTO TABLE employee_internal SELECT * FROM employee;
```
- INSERT INTO TABLE：将数据插入到表中
- employee_internal：目标表
- SELECT * FROM employee：从 employee 表中选择数据进行插入
查询内部表数据：
```
SELECT * FROM employee_internal;
```
- SELECT *：查询所有列
- FROM employee_internal：从 employee_internal 表中查询数据