关联规则中三个重要知识点

某家水果店的订单清单如下:

购物单号

购买的水果

1

苹果、香蕉、梨

2

苹果、香蕉、梨、芒果

3

香蕉、梨、芒果、水蜜桃

4

苹果、芒果

5

苹果、水蜜桃

支持度:百分比数,表示一个商品组合出现的次数与总次数之间的比值,支持度越高,说明组合出现的概率越高。

Support(A) = N(A)/N

'苹果’的支持度为:Support(A) = 4/5 = 0.8

‘苹果、香蕉’的支持度为:Support(AB) = 2/5 = 0.4

置信度:条件概率,指购买了一个商品组合后,购买另一个组合的

概率。

Cofident(A=>B) = N(AB)/N(A) = P(AB)/P(A)

‘苹果=>香蕉’的置信度: Cofident(A=>B) = 2/4 = 0.5

'香蕉=>梨’的置信度:Cofident(B=>C) = 3/3 = 1

提升度:一个商品组合出现,对另一个商品组合出现概率的提升。

当提升度大于1,代表有提升;

当提升度等于1,代表没提升也没有下降;

当提升度小于1,代表下降。

lift(A=>B)= Cofident(A=>B)/Support(B)

‘苹果=>香蕉’的置信度:lift(A=>B) = 0.5/0.6<1

Apriori算法原理

Apriori算法原理

Apriori算法原理就是查找频繁项集(frequent itemset)的过程。

频繁项集:支持度大于等于最小支持度(Min Support)的项集。

非频繁项集:支持度小于最小支持度的项集。

Apriori算法流程

step1:k=1,计算k项集的支持度;

step2:提出支持度小于最小支持度的项集;

step3:如果项集为空,将k-1项设置为最终结果。

否则k=k+1,重复step1-step3.

Apriori算法案例

将上述案例用ID来表示,苹果、香蕉、梨、芒果、水蜜桃分别用商品ID1,2,3,4,5来表示。

购物单号

购买的水果

1

1、2、3

2

1、2、3、4

3

2、3、4、5

4

1、4

5

1、5

1.计算k=1的支持度。

水果项集

支持度

1

4/5

2

3/5

3

3/5

4

3/5

5

2/5

2.设定最小阈值为0.5,进行剔除:

水果项集

支持度

1

4/5

2

3/5

3

3/5

4

3/5

3.计算k=2的支持度。

水果项集

支持度

1、2

2/5

1、3

2/5

1、4

2/5

2、3

3/5

2、4

2/5

3、4

2/5

4.进行剔除:

水果项集

支持度

2、3

3/5

得到k=2的频繁项集{2、3},{香蕉、梨}的组合

Apriori算法应用

数据集为:Marker_Basket(购物篮)


1.efficient_apriori
#导入efficient_apriori
import pandas as pd
from efficient_apriori import apriori
from time import clock
data = pd.read_csv('./Market_Basket_Optimisation.csv',header= None)
#对数据进行预处理,将数据处理成transactions
start = clock()
transactions = []
for i in range(data.shape[0]):
temp = set()
for j in range(data.shape[1]):
if str(data.values[i,j]) == 'nan':
continue
temp.add(str(data.values[i,j]))
transactions.append(temp)
#设置最小支持度0.04,最小置信度0.02
itemsets,rules = apriori(transactions,min_support = 0.04,min_confidence = 0.02)
end = clock()
print('频繁项集:',itemsets)
print('关联规则:',rules)
print('运行时间:',end-start)
2.mlxtend
#导入mlxtend
from mlxtend.frequent_patterns import apriori
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import association_rules
import pandas as pd
from time import clock
data = pd.read_csv('./Market_Basket_Optimisation.csv',header= None)
start = clock()
transactions = []
for i in range(data.shape[0]):
temp = set()
for j in range(data.shape[1]):
if str(data.values[i,j]) == 'nan':
continue
temp.add(str(data.values[i,j]))
transactions.append(temp)
#one-hot编码
te = TransactionEncoder()
te_ary = te.fit(transactions).transform(transactions)
transactions_ml = pd.DataFrame(te_ary,columns = te.columns_)
#设置最小支持度0.03
itemsets = apriori(transactions_ml,min_support = 0.03,use_colnames=True)
#从大到小排序
itemsets = itemsets.sort_values(by = 'support',ascending = False)
#设置最小提升度1.1
rules = association_rules(itemsets,metric = 'lift',min_threshold = 1.1)
#从大到小排序
rules = rules.sort_values(by = 'lift',ascending = False)
end = clock()
print('频繁项集:',itemsets)
print('关联规则:',rules)
print('运行时间:',end-start)