Hive 支持的文件格式

  • Text File（文本格式文件）
  • Sequence File（hadoop 专用序列格式二进制文件）
    Hadoop 提供的 Sequence File 文件格式提供一对 Key-Value 形式的不可变的数据结构。同时，HDFS 和 MapReduce 使用SequenceFile 文件可以使文件的读取更加效率
  • Avro File (hadoop 专用序列格式二进制文件)
    Avro 是一个数据序列化系统，设计用于支持大批量数据交换的应用。
    Avro 主要特点有：
  • 支持二进制序列化方式，可以便捷，快速地处理大量数据；
  • 动态语言友好，Avro 提供的机制使动态语言可以方便地处理 Avro 数据
  • 可排序的
  • Parquet File（列式存储格式二进制文件）
    Parquet 是一种列式数据存储格式，同 XML 和 JSON 一样，它是语言、平台无关的，并且不需要和任何一种数据处理框架绑定，并且可以很方便的将其它序列化工具生成的数据转换成 Parquet 格式
    Parquet 文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此 Parquet 格式文件是自解析的
    目前支持 Parquet 文件格式的组件或框架如下：
  • 查询引擎: Hive, Impala, Pig, Presto, Drill, Tajo, HAWQ, IBM Big SQL
  • 计算框架: MapReduce, Spark, Cascading, Crunch, Scalding, Kite
  • 数据模型: Avro, Thrift, Protocol Buffers, POJOs
  • ORC file（列式存储格式二进制文件）
    ORC 的全称是 (Optimized Row Columnar)，是另一种常见的列式存储格式。
    在 ORC 之前，Hive 中就有一种列式存储格式称为 RCFile（RecordColumnar File），ORC 是对 RCFile 格式的改进，主要在压缩编码、查询性能方面做了优化。因此 ORC/RC 都源于 Hive，主要用来提高 Hive 查询速度和降低 Hadoop 的数据存储空间。
    ORC 具有以下一些优势：
  • ORC 是列式存储，有多种文件压缩方式，并且有着很高的压缩比
  • ORC 文件是可切分（Split）的，在 Hive 中使用 ORC 作为表的文件存储格式，不仅节省HDFS 存储资源，查询任务的输入数据量减少，使用的 MapTask 也就减少
  • ORC 提供了多种索引，row group index、bloom filter index。
  • ORC 可以支持复杂的数据结构（比如Map等）
  • 在压缩存储时间上，除 Sequence File 外基本都相差无几
  • 数据压缩比例上 ORC FILE 最优，相比 Text File 节省了 50 倍磁盘空间，Parquet File压缩性能也较好
  • SQL 查询速度而言，ORC FILE 与 Qarquet FILE 性能较好，远超其余存储格式

综合上述各种性能指标，生产环境中主流做法是原始日志写入 hive 的存储格式都采用 ORC 或者 Qarquet 格式

文件存储分类

  • 行式存储
  • TEXT FILE
  • SEQUENCE FILE
  • AVRO FILE
  • 列式存储
  • PARQUET FILE
  • RC FILE
  • ORC FILE

数据导入

方式一

手动用 hdfs 命令，直接导入本地数据或 hdfs 数据到 Hive 仓库的表目录中

方式二

在 Hive 的交互式 shell 中用 load 命令，导入本地数据到 Hive 仓库的表目录中（文件复制）

注：Hive 的 load 命令是将文件直接加载到 Hive 仓库表的目录中， 将相关的元数据信息加到 MySQL 中，不涉及到文件格式的转换

方式三

在 Hive 的交互式 shell 中用 load 命令，导入 hdfs 数据到 Hive 仓库的表目录中（文件移动）

注：导入的 hfds 数据将被移动到 Hive 仓库表目录中

方式四

在 Hive 的交互式 shell 中用 insert 命令，导入Hive 表数据到 Hive 仓库的表目录中（主要用于创建表的文件格式和加载的数据文件格式不一致的时候 ）

方式五

在 Hive 的交互式 shell 中用 import 命令，导入使用 Export 命令导出的文件数据

注：Import 导入的数据必须是 Export 导出的数据

数据导出

方式一
将 Hive 表中的数据导出到 HDFS 中
将 Hive 表中的数据导出到本地磁盘文件中