基于Hadoop的Hive的安装与配置
hive的定义与作用
定义
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
作用
1.） 直接使用hadoop所面临的问题
人员学习成本太高
项目周期要求太短
MapReduce实现复杂查询逻辑开发难度太大
2.）
操作接口采用类SQL语法，提供快速开发的能力。
避免了去写MapReduce，减少开发人员的学习成本。
hive的安装配置与调试
前面需要安装配置好hadoop和hbase,可至下方连接查询处理
hadoop的安装配置hbase的安装配置
1，准备好安装包进行解压
tar -zxf hive-1.1.0-cdh5.14.2.tar.gz -C /opt
mv hive-1.1.0-cdh5.14.2.tar.gz hive2，配置环境变量
[root@hadoop131 software]# vi /etc/profile添加以下内容
export HIVE_PATH=/opt/hive
export PATH=$PATH:$HIVE_PATH/bin
export HBASE_PATH=/opt/hbase //hbase如果之前配置过了就不需要再配置了
export PATH=$PATH:$HBASE_PATH/bin使生效
[root@hadoop131 software]# source /etc/profile3，安装mysql
1）．将MySQL的两个安装包（MySQL-client-5.6.46-1.el7.x86_64.rpm/MySQL-server-5.6.46-1.el7.x86_64.rpm自行百度下载）拖入opt文件夹，ll命令可以看到MySQL的两个安装包
2）．yum下载依赖包：
（1）第一个：yum install -y net-tools
（2）第二个：yum install -y perl
（3）第三个：yum install -y autoconf3）．安装客户端：
rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm4）．安装服务端：
（1）
rpm -ivh MySQL-server-5.6.46-1.el7.x86_64.rpm（2）可能会提示依赖冲突，找到具体冲突的mariadb的具体文件名
（3）rpm -e 文件名 --nodeps强制删除文件
rpm -e mariadb-libs-1:5.5.64-1.el7.x86_64 --nodeps（4）重新执行第(1)步安装服务端
5）．配置my.cnf
vi /usr/my.cnf添加[client]
default-character-set = utf8
[mysqld] (本身自带的不要再次添加,作为修改标记)
skip-grant-tables跳过权限验证
character_set_server = utf8设置编码格式
collation_server = utf8_general_ci[client]
default-character-set = utf8
[mysqld]
skip-grant-tables //免密登录
character_set_server = utf8
lower_case_table_names //忽略大小写
collation_server = utf8_general_ci6）．重启mysql服务
输入：service mysql restart 7）．进入mysql数据库
（1）输入mysql进入mysql命令行
mysql>输入use mysql 会提示：database changed
8）．修改密码
mysql>输入：update user set password=password('ok'); 会提示：Rows matched: 4 Changed: 4 Warnings: 0
9）．输入quit，退出数据库
10）．vi /usr/my.cnf修改配置文件
11）．找到skip-grant-tables，在前面加上#号，注释掉这一行，esc，:wq保存退出
12）．输入：service mysql restart，重启mysql数据库
13）．输入：mysql -uroot -pok 进入数据库
14）．在mysql命令行输入：
mysql>set password=password('ok'); 15）.安装完成后需要给root用户赋权;
grant all on *.* to 'root'@'hadoop110' identified by 'ok';
flush privileges;4，hive配置修改，新建hive-site.xml文件
[root@hadoop131 software]# cd /opt/hive/conf/
[root@hadoop131 conf]# vi hive-site.xml加入以下内容
<?xml version="1.0" encoding="UTF-8" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://hadoop110:9000/hive/warehouse</value> //修改为自己的主机名
<description>管理表存储的位置,可以是linux中的目录,也可以是相对于fs.default.name有关的目录</description>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<!-- 指定hive元数据存储的MySQL地址 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 元数据存储数据库的驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- 元数据存储数据库的用户名 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- 元数据存储数据库的密码,(注:这里是mysql自己root用户的密码) -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>ok</value>
</property>
</configuration>5，修改env文件名，再进行配置
[root@hadoop131 conf]# mv hive-env.sh.template hive-env.sh
[root@hadoop131 conf]# vi hive-env.sh在最后加入以下内容
export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_AUX_JARS_PATH=/opt/hive/lib
export JAVA_HOME=/opt/jdk8
export HIVE_CONF_DIR=/opt/hive/conf6，修改log4j文件名，并进行配置
[root@hadoop131 conf]# mv hive-log4j.properties.template hive-log4j.properties
[root@hadoop131 conf]# vi hive-log4j.properties第十九行修改为
hive.log.dir=/opt/hive/logs7，新建之前site文件中的warehouse文件夹和logs文件夹
[root@hadoop131 conf]# mkdir /opt/hive/warehouse
[root@hadoop131 conf]# mkdir /opt/hive/logs8，将mysql-connector-java-5.1.0-bin.jar包拖到hive的lib目录下
[root@hadoop131 conf]# cp /software/mysql-connector-java-5.1.0-bin.jar /opt/hive/lib9，进行赋权
[root@hadoop131 conf]# chmod 777 /opt/hive10，启动
初始化mysql数据库: schematool -initSchema -dbType mysql 输入hive命令
输入: show tables;
