简介
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能
Hive的优点
- 学习成本低,避免使用复杂的MapReduce
- 开发周期短,使用类sql语法,十分简洁
- 拓展性强
Hive的缺点
执行延迟高,处理速度慢,只适合用来做大规模批量数据统计
Hive的组件
- 用户接口:CLI、JDBC/ODBC、WebGUI
CLI为shell命令行;JDBC/ODBC是Hive的JAVA实现,与传统数据库JDBC类似;WebGUI是通过浏览器访问Hive。 - 元数据存储:存储在关系数据库如 mysql,derby中
Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 - 解释器、编译器、优化器、执行器
解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后由MapReduce调用执行。
Hive与Hadoop的关系
hive利用hdfs存储数据,利用mapreduce查询数据
流程:
1.发出并执行HQL语句
2.Hive处理,转换成MapReduce
3.提交任务到Hadoop,MapReduce运行
4.HDFS操作
Hive的数据存储
- Hive中所有的数据都存储在HDFS中,没有专门的数据存储格式
- 只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive 就可以解析数据
- Hive中包含以下数据模型:DB、Table,External Table,Partition,Bucket
- db:在hdfs中表现为user/hive/warehouse/目录下的一个文件夹
- table:在hdfs中表现所属db目录下一个文件夹
- external table:与table类似,不过其数据存放位置可以任意指定
- partition:在hdfs中表现为table目录下的子目录
- bucket:在hdfs中表现为同一个table目录下根据hash散列之后的多个文件
安装Hive
- 将hive安装到hadoop的同级目录下
tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /home/hadoop/apps/ - 配置环境变量
vi ~/.bash_profile
增加
export HIVE_HOME=
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin
:$HIVE_HOME/bin
刷新配置文件
source ~/.bash_profile - 修改配置文件hive-site.xml
vi /home/hadoop/apps/hive/conf/hive-site.xml
添加
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>Lousen??1234</value>
</property>
</configuration>
- 导入连接mysql的jar包
cp mysql-connector-java-5.1.38.jar /home/hadoop/apps/hive/lib/ - 进入mysql创建对应用户
mysql -uroot -p
create user ‘hive’@‘hadoop1’ identified by ‘Lousen??1234’
grant all privileges on . to ‘hive’@‘hadoop1’ identified by ‘Lousen??1234’ with grant option;
flush privileges; - 重启mysql服务
sudo systemctl restart mysqld - 初始化元数据
schematool -dbType mysql -initSchema - 进入hive的shell
hive