大数据流程
数据分析计算(MapReduce)
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
数据仓库的主要特征：
数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。
数据仓库不产生数据 单纯的数据分析平台，集成化的数据分析平台
面向主题的：
主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。
集成的
通过对分散、独立、异构的数据库数据进行抽取、清理、转换和汇总便得到数据仓库的数据。
非易失的：
数据仓库的数据反映的是一段时间内的历史数据。数据仓库中一般有大量的查询操作，但修改和删除操作很少。通常只需要定期的加载和更新
时变性：
数据仓库的数据需要更新，以适应决策的需要。
数据仓库与数据库的区别：
数据库：操作型处理，叫联机事务处理OLTP（On-Line Transaction Processing），面向事务，面向业务，注重事务安全和客户的响应时间RDBMS（关系型数据库）：mysql,oracle,注意和非关系型数据库(noSQL)的区别：redis mogodb
数据仓库：分析型处理。叫联机分析处理OLAP（On-Line Analytical Processing）,面向分析的，apache hive。
数据仓库分层架构：
数据仓库的三层架构
ODS:源数据层 数据来源于各个不同的数据源 一般之间存在着差异 不用于直接分析 临时数据存储
DW：数据仓库层 数据来源于ODS经过ETL 数据格式统一规则的 利于分析
DA:数据应用层 数据来源于DW层分析好的模型数据 是最终使用消费的数据
数仓为什么要进行分层？
空间换时间，提高最终使用数据的效率
一步变多步 降低失败成本 不需要
进行数据集中格式统一便于分析
hive本质：可以把结构化的数据映射成一张表，映射成功后基于表 可以写sql进行数据分析。
Hive 使用Hadoop HDFS进行数据存储；
Hive 使用Hadoop MapReduce数据分析；
所以hive是基于hadoop的数据仓库的软件。
hive实现了sql类数据分析（hive sql -->mapreduce -->数据）
hive本质是数据仓库 进行数据分析的 延迟很高 无法实时交互 不利于业务事务的支持
hive不是大型数据库 也没有取代mysql 等关系型数据库 数据分析平台
hive的安装部署
hive不是分布式的软件 没有主从设备的角色存在
根据客户端的所在分为本地模式 远程模式
本地模式：客户端和hive服务在一台机器上
远程模式：客户端在其他机器上通过协议远程访问hive服务。
根据元数据存储介质不同，分为内置derby
hive建表时，没有使用row format语句 此时采用默认的分隔符\001进行分割(不可见分隔符)
使用Ctrl+v + Ctrl+ahive的内外部表
/user/hive/warehouse/dbname.db 是hive默认存放数据的路径
create database --> /user/hive/warehouse/dbname.db
内部表：表的结构化数据文件放置在上述默认的路径下 不能随便更改
外部表：表的结构化文件可以位于hdfs的任意路径下 需要通过location指定清楚位置
内部表删除，表结构和数据都可以删除
外部表删除，只会删除表结构
入门：
远程方式使用hive：
安装好hive后，将hive的服务启动：
bin/hiveserver2
将hive复制到另一台服务器，
scp -r /export/servers/hive node03:/export/servers/在node03服务器，进到bin目录下，进入hive客户端：执行
./beeline然后连接远程hive,输入：其中10000是hive服务的端口号
! connect jdbc:hive2://node01:10000 //连接协议然后输入 hive所在服务器的用户名和密码 root,123123
启动hadoop后用浏览器查看hadoop下的文件:
node01:50070
将hadoop下的文件跟hive的表结构映射起来就可以查到数据了。
把图二中的user.txt,放到图一中的路径下，就可以映射起来了。
hive的内外部表
/user/hive/warehouse 是hive默认存放数据的路径
**内部表：**表的结构化数据文件放置在上述默认的路径下 不能随便瞎放
**外部表：**表结构文件可以放在hdfs的任意路径下 但是需要通过location指定清楚位置。
create external table student_ext (sno int,sname string) row format delimited fields terminated by ',' location '/stu/student_ext';建外部表关键字：external，location
location 后边的路径具体到表结构，否则如果没有数据，浏览器上是不显示的。如果没有具体到表结构，不用担心，把数据传上去，它会自动刷新。它只是默认不显示。
DDL语句
desc formatted table_name; //查看表信息table type:manager_table(内部表)/extenal_table(外部表);
DML语句
load 数据加载 把数据从其他路径下移动到hive建表的指定路径下
因为外部表的路径可以位于hdfs的任意路径不需要指定，
load data local "" 中local指的是hive所在服务器的本地文件系统
从本地加载数据的时候 本质上是复制操作 hadoop fs -put
load data inpath "" 位于hdfs文件系统
从hdfs加载数据的时候 本质上是移动操作 hadoop fs -mv
hive建议：针对数据的导入 最好使用load命令加载，不直接使用hadoop fs 操作
当使用count函数时，启动可以加快执行效率。
hive智能本地模式：
set hive.exec.mode.local.auto=true;
