多元非参数回归模型 多元非线性回归步骤

昨天讲了线性回归，今天接着来讲讲它的兄弟-----多元回归与非线性回归

多元回归：自变量有不止一个，最后来预测一个结果

非线性回归：函数就不是简单的都是一次项，引入了高阶项使函数更能完美拟合得到准确率更高的预测值

首先引入一个学生的身高体重数据集来回顾昨天的一元线性回归

训练集

序号	身高(m)	体重(kg)
1	0.86	12
2	0.96	15
3	1.12	20
4	1.35	35
5	1.55	48
6	1.63	51
7	1.71	59
8	1.78	66

测试集

序号	身高(m)	体重(kg)
1	0.75	10
2	1.08	17
3	1.26	27
4	1.51	41
5	1.6	50
6	1.67	64
7	1.85	75

#先查看身高体重是否存在线性关系
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
from sklearn.preprocessing import PolynomialFeatures
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False


def runplt():
    plt.figure()
    plt.title('身高与体重一元关系')
    plt.xlabel('身高')
    plt.ylabel('体重')
    plt.axis([0,2,0,85])
    plt.grid
    return plt

X=[[0.86],[0.96],[1.12],[1.35],[1.55],[1.63],[1.71],[1.78]]
y=[[12],[15],[20],[35],[48],[51],[59],[66]]

plt=runplt()
plt.plot(X,y,'k.')
plt.show()

# 用sklearn的线性模型去拟合
from sklearn.linear_model import LinearRegression
model=LinearRegression()
model.fit(X,y)

#使用身高1.67来进行模型预测
print('预测身高为1.67米的体重为:',model.predict(np.array([1.67]).reshape(-1,1)))

预测身高为1.67米的体重为: [[55.75685871]]

#用测试集对模型整体预测
X_test=[[0.75],[1.08],[1.26],[1.51],[1.6],[1.85]]
y_predict=model.predict(X_test)

plt.plot(X,y,'k.')
plt.plot(X_test,y_predict,'g-')

#残差
yr=model.predict(X)
for idx,x in enumerate(X):
    plt.plot([x,x],[y[idx],yr[idx]],'r-')
plt.show()

#对模型评估
y_test=[[10],[17],[27],[41],[50],[75]]
r2=model.score(X_test,y_test)
print("模型的确定系数为:",r2)

模型的确定系数为: 0.9252812815771203

进行二元回归分析

使用身高，年龄，体重数据集

训练集

序号	身高(cm)	年龄(岁)	体重(kg)
1	147	9	34
2	129	7	23
3	141	9	25
4	145	11	47
5	142	11	26
6	151	13	46

测试集

序号	身高(cm)	年龄(岁)	体重(kg)
1	149	11	41
2	152	12	37
3	140	8	28
4	138	10	27
5	132	7	21
6	147	10	38

x_train=[[147,9],[129,7],[141,9],[145,11],[142,11],[151,13]]
y_train=[[34],[23],[25],[47],[26],[46]]
model2=LinearRegression()
model2.fit(x_train,y_train)
x_test=[[149,11],[152,12],[140,8],[138,10],[132,7],[147,10]]
Y_test=[[41],[37],[28],[27],[21],[38]]

predictions=model2.predict(x_test)

print("模型2的确定系数为:",model2.score(x_test,Y_test))
for i,prediction in enumerate(predictions):
    print("预测值:{},真实值为{}".format(prediction,Y_test[i]))

plt.title('多元回归实际值与预测值')
plt.plot(Y_test,label='y_test')
plt.plot(predictions,label='predictions')
plt.legend()
plt.show()

对第一个数据集增加二次项实现非线性回归

x1_train=[[0.86],[0.96],[1.12],[1.35],[1.55],[1.63],[1.71],[1.78]]
y1_train=[[12],[15],[20],[35],[48],[51],[59],[66]]

x1_test=[[0.75],[1.08],[1.26],[1.51],[1.6],[1.85]]
y1_test=[[10],[17],[27],[41],[50],[75]]

#显示
plt = runplt()
regressor = LinearRegression()
regressor.fit(x1_train,y1_train)
xx = np.linspace(0,26,100)
yy = regressor.predict(xx.reshape(xx.shape[0],1))
plt.plot(x1_train,y1_train,'k.')
plt.plot(xx,yy)

#构建回归函数,添加二次项
quadratic_fearurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_fearurizer.fit_transform(x1_train)
X_test_quadratic = quadratic_fearurizer.transform(x1_test)
regressor_quadratic = LinearRegression()
regressor_quadratic.fit(X_train_quadratic,y1_train)
xx_quadratic = quadratic_fearurizer.transform(xx.reshape(xx.shape[0],1))
plt.plot(xx,regressor_quadratic.predict(xx_quadratic),'r-')
plt.show()
print('一元线性回归r^2:%.2f'%regressor.score(x1_test,y1_test))
print('二元线性回归r^2:%.2f'%regressor_quadratic.score(X_test_quadratic,y1_test))

可以看出引入二次项函数拟合的更好，确定系数也增大了

下面我们做个测试，看看引入更高阶的项看能不能效果更好

k_range = range(2,10)
k_scores = []


regressor = LinearRegression()
regressor.fit(x1_train,y1_train)
k_scores.append(regressor.score(x1_test,y1_test))

for k in k_range:
    k_featurizer = PolynomialFeatures(degree=k)
    x1_train_k = k_featurizer.fit_transform(x1_train)
    x1_test_k = k_featurizer.transform(x1_test)
    regressor_k = LinearRegression()
    regressor_k.fit(x1_train_k,y1_train)
    k_scores.append(regressor_k.score(x1_test_k,y1_test))

for i in range(0,8):
    print('%d项式r^2是%.2f'%(i+1,k_scores[i]))

plt.plot([1,2,3,4,5,6,7,8,9],k_scores)
plt.show()

可以看到并不是越高阶拟合的越准确，因为有可能在训练集上拟合的过于好，导致过拟合最后在测试集上就出现了很差的表现

# 再来个多元回归的例子

#1.广告和销量的多元分析
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

#导入数据
data=pd.read_csv('./Advertising.csv')

#查看数据
data.info()
data.head()

这是一个广告和产品销量的数据集，TV,radio,newspaper分别代表电视，收音机，报纸三种广告消费，sales代表产品销售量

# 切分训练集和测试集
X=data[['TV','radio','newspaper']]
y=data['sales']
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.4,random_state=1)#训练集测试集6，4分

linreg=LinearRegression()
model=linreg.fit(X_train,y_train)

print("参数为:",model.intercept_)
print("系数为:",model.coef_)

#预测
y_pred=model.predict(X_test)
print("预测值为:",y_pred)

plt.figure()
plt.plot(range(len(y_pred)),y_pred,'r',label='预测值')
plt.plot(range(len(y_pred)),y_test,'g',label='测试集真实值')
plt.legend(loc="upper right")
plt.xlabel('序号')
plt.ylabel('产品销售')
plt.show()

#计算拟合的均方误差，评估模型
sum_mean=0
for i in range(len(y_pred)):
    sum_mean+=(y_pred[i]-y_test.values[i])**2
sum_err=np.sqrt(sum_mean/len(y_pred))
print("模型的均方根误差为",sum_err)

模型的均方根误差为 1.5635772207961516

总结

其实这两次的回归问题都是很简单的入门问题，基本用自己写的简单函数就能实现，关键是要有从多变量转到向量计算的思想，以及对梯度下降的理解。在机器学习，特别是深度学习中，最重要的一种思想就是向量化计算的思想，用向量计算代替传统的循环，可以大大降低计算时间。比如代码中最后计算均方误差就可以用向量计算代替循环计算，只要把y_test用numpy变成ndarray形式就可以接着用向量计算。对于这个思想我昨天看到一个大佬写的博客超赞，大家都可以去看看