• 简介
  • 配置
  • local模式
  • mapreduce模式
  • 经典案例


简介

Pig是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1]
相比Java的MapReduce api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。[2]

使用的版本
hadoop：2.7.4
pig：0.16.0

配置

1、下载
http://mirrors.shuosc.org/apache/pig/pig-0.16.0/
我这里下载的是0.16.0，目前最新的是0.17.0
2、解压到适当目录后，配置环境变量
PIG_HOME 值是pig的根目录
PIG_CLASSPATH 值是hadoop目录下的etc/hadoop
PTAH 值是pig的bin目录
3、输入pig，默认是执行的mapreduce类型
可以选择执行类型，local和mapreduce以及tez

pig -x, -exectype - Set execution mode: local|mapreduce|tez, default is mapreduce.

local模式

1、建立pig测试文件夹，启动pig shell 本地模式

hadoop中的pv数 hadoop中pig作用_大数据

2、password文件内容

hadoop中的pv数 hadoop中pig作用_hadoop中的pv数_02

3、统计当前工作目录下password文件中用户

hadoop中的pv数 hadoop中pig作用_hadoop中的pv数_03

核心命令

grunt> A = load 'password' using PigStorage(':');

grunt> B = foreach A generate $0 as id;

grunt> dump B;

4、统计结果

hadoop中的pv数 hadoop中pig作用_pig_04

命令参考：Hadoop Pig安装及测试

mapreduce模式

这是pig的默认模式，在终端如果只输入pig就会以mapreduce运行
试着在这个模式上执行上面的核心命令，会报错

Failed!

Failed Jobs:
JobId   Alias   Feature Message Outputs
job_1510640240196_0008  A,B MAP_ONLY    Message: Job failed!    hdfs://192.168.31.40:9000/tmp/temp-1299691098/tmp835924451,

Input(s):
Failed to read data from "hdfs://192.168.31.40:9000/user/liuxunming/password"

Output(s):
Failed to produce result in "hdfs://192.168.31.40:9000/tmp/temp-1299691098/tmp835924451"

Counters:
Total records written : 0
Total bytes written : 0
Spillable Memory Manager spill count : 0
Total bags proactively spilled: 0
Total records proactively spilled: 0

Job DAG:
job_1510640240196_0008


2017-11-27 16:01:18,715 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Failed!
2017-11-27 16:01:18,723 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias B
Details at logfile: /Users/liuxunming/pigtest/pig_1511769651826.log

（注：192.168.31.40 这个是我本地的局域网ip，因为刚开始测试pig是在本地伪分布式环境下测试的）
有人说是因为jobtracker没有启动导致的，然而我这里是hadoop 2.7.4版本，已经不存在这个进程
后来在csdn bbs论坛里搜到一篇自问自答到帖子，他也遇到里同样的问题，解决方法就是换了hadoop的版本就行
然后我就换了公司集群 2.6.5 版本的hadoop上去尝试，结果确实不报这个错误了，报了historyserver进程未启动的错误

mr-jobhistory-daemon.sh start historyserver

之后就如第一种模式的运行结果一样，执行成功
至此Pig初步试用完毕
后续：今天在本地测试了wordcount发现也报同样类型的错误，就是在作业管理界面的logs里，都是说找不到java，所以说上面的问题可能不是hadoop的问题，至少目前来说，本地的单机hadoop都无法正常运行官方示例程序。

/bin/bash: /bin/java: No such file or directory

在stackoverflow上搜到同样的错误，他的解决方法是更改hadoop-env.sh中的java_home为绝对路径[4]

This was solved when I kept hard coded paths in hadoop-env.sh for JAVA_HOME and JAVA. Though these environment variables are set, somehow Hadoop fails to recognize them.

然而对于我这里的问题并没有效果

经典案例

ls # 查看hdfs下根目录文件

wordcount[3]

a = LOAD '111.txt' as (line:chararray); 
words = FOREACH a GENERATE flatten(TOKENIZE(line)) as w; 
g = GROUP words by w;
wordcount = FOREACH g GENERATE group,COUNT(words); 
dump a

其中输入文件为存放在hdfs上/user/root目录下的一个名为111.txt的文件，文件具体内容如下

www.flyertea.com hm.baidu.com
www.flyertea.com eclick.baidu.com
www.flyertea.com eclick.baidu.com
pos.baidu.com www.flyertea.com
www.flyertea.com hm.baidu.com rec.m.sm.cn
www.flyertea.com
eclick.baidu.com

最终执行结果如下

(rec.m.sm.cn,1)
(hm.baidu.com,2)
(pos.baidu.com,1)
(eclick.baidu.com,3)
(www.flyertea.com,6)

我们再看一下普通的mapreduce的执行情况

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/111.txt /xm/112901

普通的mapreduce执行结果

eclick.baidu.com    3
hm.baidu.com    2
pos.baidu.com   1
rec.m.sm.cn 1
www.flyertea.com    6

其实归根结底，pig最后也转化成mapreduce运行的
观察Hadoop Cluster Metrics 作业管理界面
发现两种方式的执行耗时基本一致，上例pig耗时18秒，mr耗时14秒
pig执行完成后直接显示结果，不像mr还得手动cat结果才行，总之各有千秋。