引入原因：

1.对存在HDFS上的文件或HBase中的表进行查询时，要手工写一堆MapReduce代码，MapReduce编程带来的不便性，编程十分繁琐，在大多情况下，每个MapReduce程序需要包含Mapper、Reduceer和一个Driver，之后需要打成jar包扔到集群上运 行。如果mr写完之后，且该项目已经上线，一旦业务逻辑发生了改变，可能就会带来大规模的改动代码，然后重新打包，发布，非常麻烦(这种方式，也是最古老的方式)
2.对于统计任务，只能由懂MapReduce的程序员才能搞定
3.耗时耗力，更多精力没有有效的释放出来

Hive是什么

1.Hive是一个SQL解析引擎 ，将SQL语句转译成MR Job,然后再在Hadoop平台上运行，达到快速开发的目的。
2.Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。本质就是Hadoop的目录/文件，
达到了元数据与数据存储分离的目的。
3.Hive本身不存储数据，它完全依赖HDFS和MapReduce。
4.Hive的内容是读多写少，不支持对数据的改写和删除。
5.Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性:

  • 列分隔符，空格：’,’ ‘\t’
  • 行分隔符 ‘\n’
  • 读取文件数据的方法

Hive 能做什么，与mapreduce 相比优势在哪里（相对于开发）

Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
相对于mapreduce 离线计算需要写很多java代码去实现数据提取，hive可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用开发程序，更适合数据仓库的统计分析。

比如词频统计只需简单的一句：

select word, count(*) from (
    select explode(split(sentence, ' ')) as word from article
) t
group by word

Hive中的SQL和传统SQL的区别

使用hadoop的hive组件构建数据分析看板 hive hadoop开发_Hive

与传统关系数据库比较

  • hive和关系型数据库存储文件的系统不同，hive使用的是hadoop的HDFS (hadoop的分布式文件
    系统),关系型数据库则是服务器本地的文件系统;
  • hive使用的计算模型是mapreduce,而关系型数据库则是自己设计的计算模型;
  • 关系型数据库都是为实时查询的业务进行设计的，而hive则是为海量数据做数据挖掘设计的，实时性很差
  • Hive很容易扩展自己的存储能力和计算能力，这个是继承hadoop的，而关系型数据库在这个方面要比Hive差很多。

HIVE体系架构

使用hadoop的hive组件构建数据分析看板 hive hadoop开发_hive概述_02


HIVE体系架构可分为三个部分

1.用户接口

用户接口主要有三个：CLI，Client 和 WUI。

Hive提供的Cli工具，进行交互式执行SQL，直接与Driver进行交互，启动的时候会同时启动一个HIVE副本

Hive提供JDBC驱动，作为JAVA的API，JDBC是通过Thift Server来接入，然后发送给Driver

WUI是通过浏览器访问 Hive，如有些公司会有自己的中台进行hive开发。

2.元数据存储

Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等，元数据是一个独立的关系型数据库，通常Mysql，Hive会在其中保存表模式和其他系统元数据

3.解释器、编译器、优化器、执行器

驱动模块：通过该模块对输入进行解析编译，对需求的计算进行优化，然后按照指定的步骤执行(通常启动多个MR任务来执行)

解释器：生成抽象语法树

语法分析器：验证查询语句

逻辑计划生成器（包括优化器）：生成操作符树

查询计划生成器：转换成map-reduce任务