hive建表csv

原创

mob64ca12e3a791 2023-11-19 13:52:59 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12e3a791的原创作品，请联系作者获取转载授权，否则将追究法律责任

Hive建表CSV

引言

在大数据领域，处理和分析结构化数据是非常常见的任务。Hive是一个基于Hadoop的数据仓库工具，它允许我们使用类SQL语言（HiveQL）来查询和分析数据。Hive支持从多种数据源中创建表，并且能够将数据存储在不同的格式中。其中，CSV（逗号分隔值）格式是一种非常常见的数据存储格式，它使用逗号作为字段分隔符。本文将介绍如何在Hive中创建和管理CSV格式的数据表。

Hive建表语法

在Hive中建表的语法如下：

CREATE TABLE table_name (
    column1 data_type,
    column2 data_type,
    ...
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

其中，table_name是表名，column1、column2是表的列名，data_type是列的数据类型。ROW FORMAT DELIMITED关键字指定了行格式，FIELDS TERMINATED BY ','指定了字段分隔符，这里使用逗号作为分隔符。STORED AS TEXTFILE指定了数据存储格式为文本文件。

示例

为了演示Hive建表CSV的过程，假设我们有一个名为students.csv的文件，包含了学生的姓名、年龄和成绩信息，内容如下：

Alice,20,85
Bob,21,90
Carol,19,95

根据这个文件，我们可以创建一个名为students的表，并将数据存储为CSV格式。

首先，我们需要在Hive中创建一个数据库，并将其设置为当前数据库：

CREATE DATABASE mydatabase;
USE mydatabase;

接下来，我们可以使用以下语句来创建表：

CREATE TABLE students (
    name STRING,
    age INT,
    score INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

现在，我们可以将students.csv文件加载到students表中：

LOAD DATA LOCAL INPATH '/path/to/students.csv' INTO TABLE students;

注意，这里的/path/to/students.csv应替换为实际文件路径。

成功加载数据后，我们可以使用以下查询语句来验证数据是否正确：

SELECT * FROM students;

上述查询将返回以下结果：

Alice  20  85
Bob    21  90
Carol  19  95

类图

下面是一个简单的Hive表类图示例，展示了表（Table）和列（Column）之间的关系：

classDiagram
    Table <|-- Column
    class Table {
        - name: String
        - columns: List<Column>
        + getName(): String
        + getColumns(): List<Column>
        + addColumn(Column): void
    }
    class Column {
        - name: String
        - dataType: String
        + getName(): String
        + getDataType(): String
    }

以上类图描述了表和列之间的关系。每个表包含多个列，每个列都有一个名称和数据类型。