一. Pig安装

1. 安装

yum install hadoop-pig

2. 配置

a. 复制配置文件

cp -r /etc/pig/conf.dist /etc/pig/conf.my_cluster

b. 安装配置文件

alternatives --install /etc/pig/conf pig-conf /etc/pig/conf.my_cluster 50

2. 启动

pig -x mapred

会自动去读取hadoop主目录下conf目录的配置文件

二. Hive安装

1. 安装

yum install hadoop-hive hadoop-hive-metastore hadoop-hive-server

2. 使用mysql

hive默认使用apache derby数据库存储元数据,这边修改为mysql

a. 安装MySQL JDBC Connector

wget http://mysql.ntu.edu.tw/Downloads/Connector-J/mysql-connector-java-5.1.18.tar.gz -P /usr/local/src
cd /usr/local/src
tar zxvf mysql-connector-java-5.1.18.tar.gz
cp mysql-connector-java-5.1.18/mysql-connector-java-5.1.18-bin.jar /usr/lib/hive/lib/

b. 创建数据库和配置相关信息

mysql> create database hive;
Query OK, 1 row affected (0.04 sec)
mysql> use hive;
Database changed
mysql> source /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.7.0.mysql.sql;

创建数据库,初始化数据

mysql> grant all on hive.* to hive@'%' identified by 'password';
mysql> flush privileges;

赋予权限

3. 配置文件

配置文件为/etc/hive/conf/hive-site.xml

javax.jdo.option.ConnectionURL:连接的数据库
javax.jdo.option.ConnectionUserName:用户名
javax.jdo.option.ConnectionPassword:密码

a. 安装配置

alternatives --display hive-conf

复制配置文件

cp -r /etc/hive/conf.dist /etc/hive/conf.my_cluster

安装配置文件

alternatives --install /etc/hive/conf hive-conf /etc/hive/conf.my_cluster 50

查看新配置

alternatives --display hive-conf

b. 修改配置文件

  1. vi /etc/hive/conf/hive-site.xml  
  2. <property> 
  3.   <name>javax.jdo.option.ConnectionURL</name> 
  4.   <value>jdbc:mysql://MYHOST/hive</value> 
  5. </property> 
  6.  
  7. <property> 
  8.   <name>javax.jdo.option.ConnectionDriverName</name> 
  9.   <value>com.mysql.jdbc.Driver</value> 
  10. </property> 
  11.  
  12. <property> 
  13.   <name>javax.jdo.option.ConnectionUserName</name> 
  14.   <value>hive</value> 
  15. </property> 
  16.  
  17. <property> 
  18.   <name>javax.jdo.option.ConnectionPassword</name> 
  19.   <value>password</value> 
  20. </property> 
  21.  
  22. <property> 
  23.   <name>datanucleus.autoCreateSchema</name> 
  24.   <value>false</value> 
  25. </property> 
  26.  
  27. <property> 
  28.   <name>datanucleus.fixedDatastore</name> 
  29.   <value>true</value> 
  30. </property> 

将MYHOST和password修改为相应的值。

连接测试

hive

4. 开机启动

chkconfig hadoop-hive-metastore off

chkconfig hadoop-hive-server on