Pig的数据模型基本分为2大类,基本类型,和复杂类型。基本类型只能包含一个简单的数值,复杂类型可以包含其他所有类型。
基本类型,和其他大多数主流语言提供的简单类型一样,Pig也提供int, long, float, double,chararray(Sring),bytearray(字节类型)
Pig是用Java开发的,因此Java程序员应该能想象的到,上面的基本类型都是java.lang包中对应类型的实现的。
需要注意的是,Pig的基本类型中没有Boolean值,但是在Pig的运行期却是有Boolean值的,因为关系Filter需要一个Boolean关系为true时数据才能流过去。这点上需要注意。
复杂类型包括Map, Tuple和Bag
Map相当于Java的Map<String, Object>类型的。Key必须是一个chararray,而值可以是任何基本和复杂类型。表示为[key#value]
Tuple可以理解为Java中的List,其实如果懂得Python,它更像Python中的Tuple[元组],表示为:(1, “abc”, 1.5)等
Bag的数据类型按我的理解为Java的Set<Tuple>,它内部的数据是无序的。表示为:{(1, “abc”, 1.5),(2, “bcd”, 2.0)...}
紧接着上一篇统计单词的例子,下面我做一些改写。一步一步的讲解Pig的运行数据状态。
统计单词的第一步就是要把文本文件读入,然后分词。
1 | words = load 'nie.txt' using PigStorage( ' ' ) as (line); |
加载数据统一用load, 使用了PigStorage加载文件,PigStorage默认是使用Tab分割文件中的内容的,因为我的例子是一片英文文章,因此只需要用空格做为分隔符就好 了。as (line)是在为数据指定模式,所有的数据加载进Pig都是Tuple类型的,因此使用(line),或者(line:chararray)。Tuple也可以指定多个值的,如(line:chararray,num1:int, num2:double),多个值的Tuple必须要数据要能转换成这样的,否则就会出错,或者加载了其他不对应的值也是空值,这样也没有意义。Pig Latin脚本的任何地方都可以输出结果查看,我们先看一下words的结果。
输出的结果:我截取了一段结果,可以看到他们的数据都是Tuple,里边只有一个值。因此如果为了统计词频,下一步应该是用Mapreduce的Map把相同的词聚集到一起,然后统计。下面的这句代码就很轻松的实现。
1 | grpd = group words by line; |
紧接着,我们输出grpd(dump grpd;)的结果查看。1 | (different,{(different),(different)}) |
2 | (extremely,{(extremely)}) |
3 | (mistaken,,{(mistaken,)}) |
4 | (naturally,{(naturally)}) |
5 | (ourselves,{(ourselves),(ourselves)}) |
6 | (permitted,{(permitted)}) |
7 | (something,{(something),(something)}) |
熟悉MapReduce应该很清楚了,他把相同的词合并到了一起,组成了一个Tuple(word, {word, word})的数据格式。Reduce再把{word, word}遍历一边得出一个count就实现了统计词频的效果了。完整的程序:
1 | words = load 'nie.txt' using PigStorage( ' ' ) as (line); --以空格作为分隔符把内容分词读入 |
2 | grpd = group words by line; --以每个单词聚类,真实的是一个MapReduce的Map阶段 |
3 | cntd = foreach grpd generate group, COUNT(words); -- 这里既上一步Map完成紧接着Reduce阶段进行统计 |
4 | dump grpd; --直接在终端打印结果便于查看 |
上面的程序正常运行下来应该能统计出词了该词出现的次数,文本很长的情况下着实没有什么意思,一般都会看前面高频的一些词汇,因此还应该做个Order By,然后取出前面的数据。幸好Pig是支持的。1 | cous = order cntd by $1 desc; |
2 | limitresult = limit cous 50; |
接着上面的dump前,继续排序,然后截取前面50条结果。
应该能看到,程序中使用了一个$1的的变量,因为foreach总会创建一个Tuple,而在COUNT()没有特别的指出别名,因此应该是匿名的,匿名的变量可以用$取出值,下标总是从0开始。Pig Latin是可以用as 强调别名的,这和SQL的AS是一样的。
运行该程序用的时间明显长了很多。运行结果如:
现在的结果明显有意义了很多。我在第一次运行这个程序的时候,还抛出了OutofMemory的异常,因此还更改了Pig的配置文件。PigHome/conf/pig.properties.在后边增加这样的配置:
1 | pig.cachedbag.memusage=0 |
3 | io. sort .record.percent=0.1 |
Pig排序时需要很大的内存,通过参数可以把部分数据临时序列化到硬盘,具体的意义可以上Google搜。以前玩Hadoop的朋友,是不是觉得Pig能简化一些Mapreduce的开发呢?