第一眼spark安装文件夹lib\spark-assembly-1.0.0-hadoop2.2.0.jar\org\apache\spark\sql下有没有hive文件夹,假设没有的话先下载支持hive版的spark。
安装mysql
lsb_release -a 查看虚拟机版本号
http://dev.mysql.com/downloads/mysql#downloads 官网上下载对应版本号
下载三个
MySQL-server-5.6.20-1.el6.i686.rpm
MySQL-client-5.6.20-1.el6.i686.rpm
MySQL-devel-5.6.20-1.el6.i686.rpm
进入下载的软件存放文件夹进行安装,否则安装后会出问题
rpm -ivh MySQL-server-5.6.20-1.el6.i686.rpm
rpm -ivh MySQL-client-5.6.20-1.el6.i686.rpm
rpm -ivh MySQL-devel-5.6.20-1.el6.i686.rpm
启动服务 service mysql start
mysql -uroot -p
直接回车不输password,报错。认真查看安装时打印出来的信息,发现mysql给root用户随机生成了password,写在 /root/.mysql_secret 中,所以。
cat /root/.mysql_secret
查看password,XlP5M_wE8w0LgrCG。
登录成功。
此时假设想继续操作。会报错,要求你改动默认password
SET PASSWORD = PASSWORD('new_password')
就可以。
重新启动与停止mysql服务
启动方式1:service mysql start
启动方式2:/etc/init.d/mysql start
停止方式1:service mysql stop
停止方式2:/etc/init.d/mysql shutdown
重新启动方式1:service mysql restart
重新启动方式2:/etc/init.d/mysql restart
创建hadoop用户。
create user 'hadoop' identified by 'hadoop';
grant all on *.* to hadoop@'%' with grant option;
exit
又一次用hadoop用户登陆并创建hive数据库
mysql -uhadoop -p
create database hive;
use hive
show tables;
exit
下载apache-hive-0.13.1-bin.tar.gz
解压 tar zxf apache-hive-0.13.1-bin.tar.gz
改名 mv apache-hive-0.13.1-bin hive013
改动配置文件 cd hive013/conf
cp hive-default.xml.template hive-site.xml
cp hive-env.sh.template hive-env.sh
vi hive-env.sh
HADOOP_HOME=/app/hadoop/hadoop220
vi hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://DataNode2:3306/hive?=createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
<description>password to use against metastore database</description>
</property>
###hive.metastore.warehouse.dir是用缺省位置,能够自行改动
添加驱动程序
mysql-connector-java-5.1.26-bin.jar 到/app/hadoop/hive013/lib/.文件夹下
show databases;
能够看到default数据库
hiveclient安装
从datanode2上直接拷贝到datanode1:
scp hive013/ hadoop@DatNode1:/app/hadoop/
conf文件夹下 vi hive-site.xml
<property>
<name>hive.metastore.uris</name>
<value>thrift://DataNode2:9083</value>
<description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
后台执行
前台退出ctrl+c
nohup bin/hive --service metastore > metastore.log 2>&1 &
后台退出
jobs
kill %num
版权声明:本文博主原创文章。博客,未经同意不得转载。