二次函数线性回归

前言

由于本部分内容讲解资源较多，本文不做过多叙述，重点放在实际问题的应用上。

一、线性回归

线性回归中的线性指的是对于参数的线性的，对于样本的特征不一定是线性的。

线性模型（矩阵形式）：y=XA+e

      其中：A为参数向量，y为向量，X为矩阵,e为噪声向量。

对于线性模型，通常采用最小二乘法作为其解法（可通过最大似然估计推得）。

最小二乘法是通过最小化误差的平方和寻找数据的最佳函数匹配。

最小二乘法的解法有很多种，通常有：

解析法即求通过函数的导数为0确定函数的极值点

矩阵法-——解析法的矩阵形式

梯度下降法：在求解损失函数的最小值时，可以通过梯度下降来一步步的迭代求解，得到最小化的损失函数和模型参数值。

常见的方式有三种，分别是：批量梯度下降法BGD、随机梯度下降法SGD、小批量梯度下降法MBGD。

其他优化算法，如牛顿法等。

为避免过拟合，通常在线性回归模型中加入正则项，分为以下三类：

二、Logistic回归

sigmoid函数: y=1/(1+exp(-x))

模型：

 

假设 P(y=1|x;θ)=h_θ(x)

最大似然估计方法（损失函数）

通过梯度下降法得到

 

softmax回归（多目标分类）

三、实践练习

数据集采用sklearn自带数据集 Boston ，由房屋的特征预测房屋的价格。

from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
import numpy as np
from sklearn import datasets
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn.linear_model import Lasso, Ridge
from sklearn.model_selection import GridSearchCV

dataset=datasets.load_boston()

X=dataset.data
Y=dataset.target

#X_norm=StandardScaler().fit_transform(X)
X_norm=X #是否标准化对值没有影响，这也是可以解释的
x_train, x_test, y_train, y_test = train_test_split(X_norm, Y, train_size=0.7, random_state=0)

model1 = LinearRegression()
model1.fit(x_train,y_train)
print(model1)
print(model1.coef_, model1.intercept_)

#model2 = Ridge()
model2=Lasso()
alpha_can = np.logspace(-3, 2, 10)
lasso_model = GridSearchCV(model2, param_grid={'alpha':alpha_can}, cv=5)
lasso_model.fit(x_train, y_train)
print('超参数：\n', lasso_model.best_params_)

order = y_test.argsort(axis=0)  #对测试样本排序，便于显示
y_test = y_test[order]
x_test = x_test[order, :]

y_hat1=model1.predict(x_test)
mse1 = np.average((y_hat1 - np.array(y_test)) ** 2)
print('MSE-LR = ', mse1)

y_hat2=lasso_model.predict(x_test)
mse2 = np.average((y_hat2 - np.array(y_test)) ** 2)
print('MSE-LASSO = ', mse2)


mpl.rcParams['font.sans-serif'] = [u'simHei']
mpl.rcParams['axes.unicode_minus'] = False
plt.figure(facecolor='w',figsize=(15, 8))
plt.plot(y_test, 'r-', lw=1, label=u'真实值')
plt.plot(y_hat1, 'g-', lw=1, label=u'线性回归估计值')
plt.plot(y_hat2, 'b-', lw=1, label=u'Lasso估计值')
plt.legend(loc='upper left')
plt.title(u'线性回归模型波士顿房价预测', fontsize=18)
plt.xlabel(u'样本编号', fontsize=15)
plt.ylabel(u'房屋价格', fontsize=15)
plt.grid()
plt.show()

　　

 结果如下图：

                                                                                                        图1

图中显示，采用普通线性回归的结果和采用Lasso的结果基本一致，甚至在图上难以区分，如采用Ridge方法，结果也基本一致。

用多项式特征来拟合：

from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
import numpy as np
from sklearn import datasets
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn.linear_model import Lasso, Ridge
from sklearn.model_selection import GridSearchCV
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import make_pipeline


dataset=datasets.load_boston()

X=dataset.data
Y=dataset.target


x_train, x_test, y_train, y_test = train_test_split(X, Y, train_size=0.7, random_state=0)
order = y_test.argsort(axis=0)  #对测试样本排序，便于显示
y_test = y_test[order]
x_test = x_test[order, :]
for degree in np.arange(1,5):
    model = make_pipeline(PolynomialFeatures(degree),Lasso(alpha=0.1))
    model.fit(x_train,y_train)
    y_hat=model.predict(x_test)
    mse = np.average((y_hat - np.array(y_test)) ** 2)
    print('当模型次数为：%d'%degree)
    print('MSE = ', mse)
    mpl.rcParams['font.sans-serif'] = [u'simHei']
    mpl.rcParams['axes.unicode_minus'] = False
    plt.figure(facecolor='w',figsize=(10, 5))
    plt.plot(y_test, 'r-', lw=1, label=u'真实值')
    plt.plot(y_hat, 'g-', lw=1, label='degree %d' % degree)
    plt.legend(loc='upper left')
    plt.title(u'线性回归模型波士顿房价预测', fontsize=18)
    plt.xlabel(u'样本编号', fontsize=15)
    plt.ylabel(u'房屋价格', fontsize=15)
    plt.grid()
plt.show()

 

结果：
当模型次数为：1
MSE =  28.8704970547
当模型次数为：2
MSE =  17.7654067367
当模型次数为：3
MSE =  22.899129217
当模型次数为：4
MSE =  29.5967408848

结果显示当多项式区二次时得到最好的拟合效果