准备
新机配置需要机器上已经安装了wget、vim,更换了yum源、配置好了机器名和固定ip地址、关闭了防火墙;
由于Hive基于MySQL和Hadoop运行,Hadoop基于java,所以机器上还需要安装并配置好 jdk、mysql、Hadoop、zookeeper。
以上工具安装和配置流程前面的文章已经详细介绍过。
一、安装Hive
1.首先解压、移动、改名hive110
tar -zxf hive-1.1.0-cdh5.14.2.tar.gz
mv hive-1.1.0-cdh5.14.2 /opt/soft/hive110
2.配置文件
在conf 路径下编辑文件hive-site.xml(此文件不存在,此处编辑的是新文件)
cd hive110/conf
vim hive-site.xml
写(第一个属性可以改路径,这是Hive操作结果在Hadoop里存放的路径)
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>ok</value>
</property>
<property>
<name>hive.server2.authentication</name>
<value>NONE</value>
</property>
<property>
<name>hive.server2.thrift.client.user</name>
<value>root</value>
</property>
<property>
<name>hive.server2.thrift.client.password</name>
<value>root</value>
</property></configuration>
3.配置环境变量
vim /etc/profile
#hive
export HIVE_HOME=/opt/soft/hive110
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
4.导入jar包
进入 /opt/soft/hive110/lib/ 目录
将自己的 mysql-connector-java-5.1.38.jar 包拖到这个目录下(只要曾经使用过java连接数据库,这个包就可以在自己的maven里找到)
#在MySQL下生成对应重组数据库
schematool -dbType mysql -initSchema
之后可以在自己的mysql中查看到名为hive的数据库:
Hive安装完成
5.启动Hive
需要先启动Hadoop,检查进程无误后,再启动hive。
hive第一个服务
hive --service metastore
正确启动该命令后会独占一个窗口。
在新界面中输入指令:
hive
即可进入hive下命令操作,操作指令与MySQL非常相似。在此处创建的数据库、表,可以在Hadoop网页 192.168.188.170:50070 中查看到。
二、安装zeppelin
在控制台界面操作 hive 太过不便,所以使用一个非常实用的软件 zeppelin 在网页操作。
1.解压、移动、改名
tar -zxf zeppelin-0.8.1-bin-all.tgz
mv zeppelin-0.8.1-bin-all soft/zeppelin081
2.修改配置文件
cd /opt/soft/zeppelin081/conf/
cp zeppelin-site.xml.template zeppelin-site.xml
vim zeppelin-site.xml
<property>
<name>zeppelin.helium.registry</name>
<value>helium</value>
</property>
cp zeppelin-env.sh.template zeppelin-env.sh
vim zeppelin-env.sh
#可以写,也可以在原有注释中找到再删除#
export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop
3.配置 hive 解释器
把 hive 的配置文件拷贝给 zeppelin
cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/zeppelin081/conf/
把Hadoop的hadoop-common-2.6.0.jar包拷贝给zeppelin
cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/zeppelin081/interpreter/jdbc/
把 hive 的 hive-jdbc-1.2.1-standalone.jar 包拷贝给zeppelin
cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zeppelin081/interpreter/jdbc/
4.传 json 的 jar 包
在 zeppelin081/lib/ 路径下粘 java-json.jar
5.配置环境变量
vim /etc/profile
#zeppeline
export ZEPPELIN_HOME=/opt/soft/zeppelin081
export PATH=$PATH:$ZEPPELIN_HOME/bin
source /etc/profile
6.启动hive远程服务
hive --service hiveserver2
这也是一个独占窗口
7.开启zeppelin
(此时Hadoop开启,hive两个服务都开启)
zeppelin-daemon.sh start
三、尝试在网页运行
网页进入 192.168.188.170:8080/#/
(需要先配置)
点箭头位置新建Hive进行配置,选项改为jdbc,因为zeppelin 默认没有Hive。
修改驱动、url、用户
保存后即可新建文本进行操作
默认选择hive