Python写多元回归 python多元回归预测

转载

mob6454cc79ab13 2023-06-20 21:25:27

文章标签 Python写多元回归 python 机器学习开发语言 Python 文章分类 Python 后端开发

前两天用PowerBI做了一个多元线性回归基于R语言的内容，点击《PowerBI多元回归预测数据(R语言)》可以查看，但是好像现在Python在人群中使用的更多，后面类似的涉及统计模型和机器学习的内容应该也会以Python为主，下面开始介绍一下Python和PowerBI一起实现多元线性回归并在PowerBI中进行筛选预测的方法，效果如下↓

Python写多元回归 python多元回归预测_python

从图中看应该还是清楚，过了两天我们又新增了p值检验参数，并且还新增了一个维度，就是推广投放费用的时候有三种投放规则（随机投放、手动精确投方和系统投放），这三个是定性变量，还需要独热编码转换成数值。新增了这个参数后，我们模型的匹配率更高了，之前R2是0.78左右，有了这个维度，R2直接上升到了0.88，几乎接近完美了。下面简单介绍一下实现方法。

数据还是之前的数据，只是又新增了一个费用投放方式的维度，如下↓

Python写多元回归 python多元回归预测_Python_02

然后流程是PowerBI导入数据，这个数据很完整了，不需要清洗，不需要聚合，直接拿来使用就可以了，下面就是重点，如何调用Python来完成我们重点的参数计算。在Python里面有两种主流计算多元回归的方法，通过statsmodels里面OLS方法，或者调用SKlearn里面的线性回归方法都可以。我们这里使用的是第一种，因为第二种调用SKlearn的方法后面其他的机器学习模型应该会经常用到。

需要指出的是，我们有一个推广方式的字段是分类值，需要使用pd里面的get_dummies进行独热编码处理后才能使用。处理然后把数据合并在一起，加上一个1的常数列，就可以用一句很简单的语句建模拟合数据了，然后把拟合的参数转换成DataFrame格式，PowerBI就可以识别了，Python语句和结果如下↓

import pandas as pd
import statsmodels.api as sm
#数据预处理，分类数据编码(独热编码)
pro_t = pd.get_dummies(dataset['promotion_type'],prefix="pro_t")
df1 = pd.concat((dataset.iloc[:,2:6],pro_t), axis=1)
X = sm.add_constant(df1)
Y = dataset.iloc[:,1]
#建模。参数估计（回归系数、总体方差）
model = sm.OLS(Y, X)
results = model.fit()
p = results.params
p = pd.DataFrame(p.index,p.values).reset_index()

Python写多元回归 python多元回归预测_python_03

关键参数已经求出来了，下面就是按照之前的步骤把参数建好，然后把预测公式写好就行了。这里还是需要用到新建自定义参数4个。还有一点需要注意，因为推广方式我们采用独热编码处理成了三列，得到了三个值，但实际使用只能选择三个中的任意一个，这里我们通过IF语句和SELECTEDVALUE的方式做了一个选择器，整体的DAX语句和结果如下↓

截距 = CALCULATE(SUM([index]),'参数'[para]="const")
uv = CALCULATE(SUM([index]),'参数'[para]="uv")
promotion_exp = CALCULATE(SUM([index]),'参数'[para]="promotion_exp")
price_diff = CALCULATE(SUM([index]),'参数'[para]="price_diff")
service_score = CALCULATE(SUM([index]),'参数'[para]="service_score")
pro_t_radm = CALCULATE(SUM([index]),'参数'[para]="pro_t_radm")
pro_t_sys = CALCULATE(SUM([index]),'参数'[para]="pro_t_sys")
pro_t_cus = CALCULATE(SUM([index]),'参数'[para]="pro_t_cus")

GMV预测 = [截距] + [uv]*[UV Value] + [promotion_exp]*[费用投入 Value] + [price_diff]*[价格降低 Value] + [service_score]*[服务评分 Value] + [推广选项]

推广选项 = 
IF(SELECTEDVALUE('推广方式'[e])="pro_t_cus",[pro_t_cus],
IF(SELECTEDVALUE('推广方式'[e])="pro_t_radm",[pro_t_radm],
IF(SELECTEDVALUE('推广方式'[e])="pro_t_sys",[pro_t_sys],
BLANK())))

看上去有点多，但大部分是重复的，只要思路到位了就很简单了，看看目前的效果↓

Python写多元回归 python多元回归预测_机器学习_04

看上去已经有初步成效了，接下来就是在完善一下，多一点对模型效果评估的信息加进来，我们再之前R2和调整R2的基础上，还新增了一个P值，p值越小模型效果越好，我们这里得出来的p值是10E-159，几乎为0了，所有很不错，Python代码和结果如下↓

import pandas as pd
import statsmodels.api as sm
#数据预处理，分类数据编码(独热编码)
pro_t = pd.get_dummies(dataset['promotion_type'],prefix="pro_t")
df1 = pd.concat((dataset.iloc[:,2:6],pro_t), axis=1)
X = sm.add_constant(df1)
Y = dataset.iloc[:,1]
model = sm.OLS(Y, X)
results = model.fit()
R2 = results.rsquared
R2ajd = results.rsquared_adj
fp = results.f_pvalue #模型线性关系不成立的概率
r2 = pd.DataFrame(columns=['R2',"R2adj","fp"])
r2 = r2.append(pd.DataFrame({
        'R2':[R2],
        "R2adj":[R2ajd],
        "fp":[fp]
    }))

Python写多元回归 python多元回归预测_Python写多元回归_05

Python写多元回归 python多元回归预测_Python_06

然后我们继续，再前面点预测的基础上，新增一个在95%置信区间上的区间预测。首先我们先求出置信区间上各个参数值，然后再代入PowerBI公式就可以了，Python代码如下↓

import pandas as pd
import statsmodels.api as sm
#数据预处理，分类数据编码(独热编码)
pro_t = pd.get_dummies(dataset['promotion_type'],prefix="pro_t")
df1 = pd.concat((dataset.iloc[:,2:6],pro_t), axis=1)
X = sm.add_constant(df1)
Y = dataset.iloc[:,1]
#建模。参数估计（回归系数、总体方差）
model = sm.OLS(Y, X)
results = model.fit()
p_conf_int = results.conf_int().reset_index()

DAX语句如下↓

low_截距 = CALCULATE(SUM([low]),'置信区间'[index]="const")
low_uv = CALCULATE(SUM([low]),'置信区间'[index]="uv")
low_promotion_exp = CALCULATE(SUM([low]),'置信区间'[index]="promotion_exp")
low_price_diff = CALCULATE(SUM([low]),'置信区间'[index]="price_diff")
low_service_score = CALCULATE(SUM([low]),'置信区间'[index]="service_score")
low_pro_t_radm = CALCULATE(SUM([low]),'置信区间'[index]="pro_t_radm")
low_pro_t_sys = CALCULATE(SUM([low]),'置信区间'[index]="pro_t_sys")
low_pro_t_cus = CALCULATE(SUM([low]),'置信区间'[index]="pro_t_cus")

height_截距 = CALCULATE(SUM([height]),'置信区间'[index]="const")
height_uv = CALCULATE(SUM([height]),'置信区间'[index]="uv")
height_promotion_exp = CALCULATE(SUM([height]),'置信区间'[index]="promotion_exp")
height_price_diff = CALCULATE(SUM([height]),'置信区间'[index]="price_diff")
height_service_score = CALCULATE(SUM([height]),'置信区间'[index]="service_score")
height_pro_t_radm = CALCULATE(SUM([height]),'置信区间'[index]="pro_t_radm")
height_pro_t_sys = CALCULATE(SUM([height]),'置信区间'[index]="pro_t_sys")
height_pro_t_cus = CALCULATE(SUM([height]),'置信区间'[index]="pro_t_cus")

GMV预测height = INT([height_截距] + [height_uv]*[UV Value] + [height_promotion_exp]*[费用投入 Value] + [height_price_diff]*[价格降低 Value] + [height_service_score]*[服务评分 Value] + [height推广选项])
GMV预测low = INT([截距] + [low_uv]*[UV Value] + [low_promotion_exp]*[费用投入 Value] + [low_price_diff]*[价格降低 Value] + [low_service_score]*[服务评分 Value] + [low推广选项])
GMV预测范围 = "["&[GMV预测low]&" - "&[GMV预测height]&"]"

Python写多元回归 python多元回归预测_python_07