Hive简介          

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,Hive底层是将SQL语句转换为MapReduce任务运行(类似于插件Pig\impala\Spark Sql)

为什么使用HIVE

直接使用 Hadoop 所面临的问题:

  • 人员学习成本太高
  • 项目周期要求太短
  • MapReduce 实现复杂查询逻辑开发难度太大

为什么要使用 Hive

  • 操作接口采用类 SQL 的语法,提供快速开发的能力
  • 避免了写 MapReduce,减少开发人员的学习成本
  • 功能扩展很方便

Hive的特点               

  • 可扩展性(横向扩展)。Hive 可以自由的扩展集群的规模,而且一般情况下不需要重启服务
  • 延展性。Hive 支持自定义函数,用户可以根据自己的需求来实现自己的函数
  • 容错。良好的容错性,可以保障即使有节点出现问题, SQL 语句仍可完成执行

Hive架构

  【Hive】Hive基础认识_大数据技术

Hive的主要组件包括UI组件、Driver组件(Complier、Optimizer和Executor)、Metastore组件、CLI(Command Line Interface,命令行接口)、JDBC/ODBC、Thrift Server和Hive Web Interface(HWI)等。

  • Drvier组件:该组件是Hive的核心组件,该组件包括Complier(编译器)、Optimizer(优化器)和Executor(执行器),它们的作用是对Hive SQL语句进行解析、编译优化、生成执行计划,然后调用底层MapReduce计算框架。
  • MetaStore组件:该组件是Hive用来负责管理元数据的组件。Hive的元数据存储在关系型数据库中,其支持的关系型数据库有Derby和mysql,其中Derby是Hive默认情况下使用的数据库,它内嵌在Hive中,但是该数据库只支持单会话,也就是说只允许一个会话链接,所以在生产中并不适用,在平时我们的测试环境中也很少使用。在我们日常的团队开发中,需要支持多会话,所以需要一个独立的元数据库,用的最多的也就是Mysql,而且Hive内部对Mysql提供了很好的支持。
  • CLI:Hive的命令行接口
  • Thrift Server:该组件提供JDBC和ODBC接入的能力,用来进行可扩展且跨语言的服务开发。Hive集成了该服务,能让不同的编程语言调用Hive的接口
  • Hive Web Interface:该组件是Hive客户端提供的一种通过网页方式访问Hive所提供的服务。这个接口对应Hive的HWI组件

Hive通过CLI,JDBC/ODBC或HWI接受相关的Hive SQL查询,并通过Driver组件进行编译,分析优化,最后编程可执行的MapReduce任务,如下图示:

  【Hive】Hive基础认识_大数据技术_02

Hive和Hadoop的关系

【Hive】Hive基础认识_Hive_03        

  • Hive依赖HDFS存储数据
  • Hive将HQL转换成MapReduce执行
  • 所以说Hive是基于Hadoop的一个数据仓库工具,实质就是一款基于HDFS的MapReduce计算框架

 Hive和RDBMS的对比

【Hive】Hive基础认识_Hive_04   

Hive的数据存储

Hive中所有的数据都存储在HDFS中,没有专门的数据存储格式(可支持Text,SequenceFile, ParquetFile, RCFILE 等),只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive 就可以解析数据

Hive包含以下数据模型:

  • db:在hdfs中表现为${hive. metastore.warehouse.dir}目录下一个文件夹
  • table:在hdfs中表现所属db目录下一个文件夹
  • external table:与table 类似,不过其数据存放位置可以在任意指定路径
  • partition:在hdfs中表现为table目录下的子目录
  • bucket:在hdfs中表现为同一个表目录下根据hash散列之后的多个文件