Apriori算法的一个主要瓶颈在于，为了获得较长的频繁模式，需要生成大量的候选短频繁模式。FP-Growth算法是针对这个瓶颈提出来的全新的一种算法模式。目前，在数据挖掘领域，Apriori和FP-Growth算法的引用次数均位列三甲。参看论文《Mining Frequence PatternsWithout Candidate Generation》 。
FP的全称是Frequent Pattern，在算法中使用了一种称为频繁模式树（Frequent Pattern Tree）的数据结构。FP-tree是一种特殊的前缀树，由频繁项头表和项前缀树构成。所谓前缀树，是一种存储候选项集的数据结构，树的分支用项名标识，树的节点存储后缀项，路径表示项集。
一、算法流程
频繁集的阈值是3，最小支持度为3。
事务数据：
图（1）
首先，扫一遍数据，统计每一项的频率；删除频率小于最小支持度的项；根据项频率，由大到小排序。
然后再扫一遍数据，构造频繁项集树。构造树的流程如下。
读第一条记录：
图（2）
读第二条记录：
图（3）
读第三条记录：
图（4）
读第四条记录：
图（5）
读第五条记录：
图（6）
为了便于后边的树的遍历，我们为这棵树又增加了一个结构-头表，头表保存了所有的频繁项目，并且按照频率的降序排列，表中的每个项目包含一个节点链表，指向树中和它同名的节点。
图（7）
好了，一颗完整的FP-Tree构造完成。
二、挖掘频繁模式
图（8）
以m为例挖掘，以m结尾的有{f:4,c:3,a:3,m:2}和{f:4,c:3,a:3,b:1，m:1}两条路径。以m为条件，{f:4,c:3,a:3,m:2}得到{fca:2},{f:4,c:3,a:3,b:1，m:1}得到{fcab:1}。两项相加得到{fca:3,b:1},b不符合频繁项阈值3，所以，
mine(FPtree|m)=mine(<f:3,c:3,a:3>|m)。
其他以此类推，得到最终的结果，如下图。
图（9）
三、MapReduce实现
（一）流程图
Step1:item计数
Map:
f:1 ,a:1 ,c;1,d:1,g:1,i:1,m:1,p:1 |
a:1,b:1,c:1,f:1,l:1,m:1,o:1 |
b:1,f;1 ,h;1,j;1,o:1 |
b:1,c:1,k:1,s:1,p:1 |
a:1,f;1,c:1,e:1,l:1,p:1,m:1,n:1 |
Reduce:
f:4 |
c:4 |
a:3 |
m:3 |
P:3 |
Step2:删除最小支持度的item,特征排序
f,c,a,m,p |
f,c,a,b,m |
f,b |
c,b,p |
f,c,a,m,p |
Step3:分组
1 | f |
c | |
2 | a |
b | |
3 | m |
p |
Step4:
Map:
f,c | {f, <c,a,m,p>:1} , {f,<c,a,b,m>:1} |
a.b | {f,<b>:1}, {c, <b,p>:1} |
m,p | {f,<c,a,m,p>:1} |
Reduce:
f,{<c,a,m,p>:1, <c,a,b,m>:1, <b>:1, <c,a,m,p>:1} |
c,{<b,p>:1} |
Step5:
Map:
f,<c,a,m,p>:1 | {p,<c,a,m,p>:1},{m,<c,a>:1},{a,<c,a>:1},{c,<c>:1} |
f,<c,a,b,m>:1 | {m,<c,a,b,m>:1},{b,<c,a,b>:1},{a,<c,a>:1},{c,<c>:1} |
f,<b>:1 | {b,<b>:1} |
f,<c,a,m,p>:1 | {p,<c,a,m,p>:1},{m,<c,a,m>:1},{a,<c,a>:1},{c,<c>:1} |
c,<b,p>:1 | {p,<b,p>:1},{b,<b>:1} |
Reduce:
f,c | {c,<c>:3} |
a,b | {a,<c,a>:3},{b,<c:1,a:1,b:3>} |
m,p | {m,<c:3,a:3,b:1,m:3>},{p,<c；3，b:1,a:2,m:2,p:3>} |
Step6:
Map c (f:3,c:3)a(a:3,f:3,c:3)bm(m:3,f:3,c:3,a:3)p(f:3,c:3) |
（二）startParallelCounting();
输入的是文本数据，key为行号，value为文本中的一行，分割。
第一遍扫数据集。Map中分割一行，然后计数，在reduce中求和。类似于WordCount实例。
（三）startGroupingItems();
（1）读取上一步的结果，删除Item数量<最小支持度的Item。
（2）将Item分组，默认分为50组。
（四）startTransactionSorting();
第二遍扫数据集。
Map：分割一行数据，如果没有在特征集中的项，跳过。根据之前统计出的Item 特征的数量大小排序分割后的Item（由大到小排序）,组成 a[]。
输出格式为：key a[0]，value <a[a.length] ,1> 。1表示支持度为1。
Reduce: 排序号的相同前缀的项集（即a[0]相同），汇聚到同一个Reduce中。
输出格式为：1，<a[a.length] ,1>
（五）startParallelFPGrowth();
输入前一个Job的输出。
Map:
setUp(){
从配置信息中获取Item的分组信息。
}
对<a[a.length] ,1>，计算子模式。
比如如对 ({a,b,c,d,e} ,1) ，输出为：
<groupId(e),({a,b,c,d,e}，1)>，
<groupId(d),({a,b,c,d}，1)>，
<groupId(c),({a,b,c}，1)>，
<groupId(b),({a,b}，1)>,
<groupId(a),({a}，1)>
Combier:
对相同组的key合并，构建一个子树。
输出为合并后的子树。
Reduce:
1.对相同组的key，做全局合并，构建一个子树。原理为树的合并算法。
2.对该组数据，构建Head-table，项排序顺序为它的数量由大到小。
3.对该组数据中的每一个Head-table特征，挖掘Top k个频繁模式，原理如图（8）。
4.输出：Text key，TopKStringPatterns values 。Key为特征编号，value为该特征的Top k个频繁模式。
输出数据为：m,<{f,c,a},2>}和{m,<{f,c,a,b},1>}
（六）startAggregating();
Map:
输入数据为 {m,<{f,c,a},2>}和{m,<{f,c,a,b},1>}。
对数据{m,<{f,c,a},2>}，输出为{mf,<{f,c,a},2>}、{mc,<{f,c,a},2>}和{ma,<{f,c,a},2>}。
对数据{m,<{f,c,a,b},1>}，输出为{mf,<{f,c,a,b},1>}、{mc,<{f,c,a,b},1>}、 {ma,<{f,c,a,b},1>}、{mb,<{f,c,a,b},1>}
Reduce:
Map中相同key的频繁模式合并。
对上面数据，合并为{mf,<f:3,c:3,a:3,b:1>}或{mc,<f:3,c:3,a:3,b:1>}或{ma,<f:3,c:3,a:3,b:1>}或{mb,<f:1,c:1,a:1,b:1>}
过滤掉不满足阈值的项。结果为{m,<{f,c,a},3>}
四、API说明
API
FPGrowthDriver.main(arg); | |
--minSupport (-s) | 最小支持度 |
--input (-i) input | 输入路径 |
-output (-o) | 输出路径 |
--maxHeapSize (-k) (Optional) | 挖掘最少k个item |
--numGroups (-g) | 特征分组数 |
--method (-method) | Sequential或mapreduce |
--encoding (-e) | 默认UTF-8 |
--numTreeCacheEntries (-tc) | 缓存大小，默认5 |
--splitterPattern (-regex) | 默认"[ ,\t]*[,|\t][ ,\t]*" |
输入文件示例（文本文件）
|
示例
|
输出格式
结果文件 | Key类型 | Value类型 |
frequentpatterns | Item (org.apache.hadoop.io.Text) | 模式(org.apache.mahout.fpm.pfpgrowth.convertors.string.TopKStringPatterns) |
输出文件转成文本结果
|
五、参考文献
1.《MiningFrequent Patterns without Candidate Generation》JiaweiHan, Jian Pei, and Yiwen Yin
2.《FP-Growth 算法MapReduce 化研究》 吕雪骥,李龙澍
3.博客：http://blog.sina.com.cn/s/blog_6fb7db430100vdj7.html
