hive的外表

原创

mob64ca12ea10ec 2024-08-14 03:49:28 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12ea10ec的原创作品，请联系作者获取转载授权，否则将追究法律责任

Hive的外表与关系

Hive是一个基于Hadoop的数据仓库工具，主要用于大数据的存储、处理和分析。其中的“外表”概念，常常让新手感到困惑。本文将带你深入了解Hive的外表，包括它的特性、使用方式，并通过示例和关系图帮助你更好地理解。

什么是外表？

在Hive中，外表（External Table）允许用户定义数据结构，而数据本身则存储在Hadoop分布式文件系统（HDFS）之外。与内表不同，内表的创建会将数据移动到Hive管理的目录下，而外表仅仅是对已有数据的一个元数据引用。因此，外表的优点在于：

数据不被移动，可以方便地与其他数据处理框架共享。
删除外表时，仅删除元数据，原始数据不受影响。

外表的创建

创建外表可以使用SQL语法，下面是一个示例：

CREATE EXTERNAL TABLE IF NOT EXISTS employees (
    id INT,
    name STRING,
    age INT,
    department STRING
)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
LOCATION '/user/hive/warehouse/employees';

在这个示例中，我们创建了一个名为 employees 的外表，其数据存储于HDFS的 /user/hive/warehouse/employees 目录下。数据格式是逗号分隔的文本文件。

查询外表

我们可以像查询内表一样查询外表，示例如下：

SELECT * FROM employees WHERE age > 30;

这个查询将返回所有年龄大于30岁的员工信息。

外表的关系图

理解外表的关系，我们可以借用关系图来帮助说明，如下图所示：

erDiagram
    EMPLOYEES {
        INT id PK
        STRING name
        INT age
        STRING department
    }
    FILESYSTEM {
        STRING path PK
    }

    EMPLOYEES }|..|{ FILESYSTEM: "points to"

在这个关系图中，EMPLOYEES 表指向 FILESYSTEM，表明外表的元数据与存储在文件系统中的数据有一种引用关系。