多元线性回归模型python代码多元线性回归模型程序

转载

mob64ca14101b2f 2023-09-05 22:49:54

文章标签 多元线性回归程序 sklearn.metrics 可视化 文章分类 Python 后端开发

11. 多元线性回归程序示例(with codes)

类似的，我们也可以实现多元线性回归。这里，我们需要创建多个特征（x），我们也可以像之前程序那样，随机生成多个特征，不过，这里，我们使用sklearn库提供的更方面的方法。

make_regression

from sklearn.datasets import make_regression
make_regression(n_samples=5, n_features=2, coef=False, bias=5.5, random_state=0, noise=10)

多元线性回归模型python代码多元线性回归模型程序_sklearn.metrics

程序展示

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
# 可以生成用于回归分析的样本数据与对应的标签。
from sklearn.datasets import make_regression

# 参数说明：
# n_samples：生成的样本数量。
# n_features：生成的特征数量。（有几个x）
# coef：是否返回方程的权重（w）。如果该值为True，则返回X，y与coef。
# 如果该值为False，仅返回X与y。默认为False。
# bias：偏置值（截距），也就是方程中的b。
# random_state：设置随机种子。
# noise：噪声的值。该值会影响数据的波动情况。值越大，波动性越大。
X, y, coef = make_regression(n_samples=1000, n_features=2, coef=True, bias=5.5, random_state=0, noise=10)
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=0.25, random_state=0)
print(f"实际权重：{coef}")
lr = LinearRegression()
lr.fit(train_X, train_y)
print(f"权重：{lr.coef_}")
print(f"截距：{lr.intercept_}")
y_hat = lr.predict(test_X)
print(f"均方误差：{mean_squared_error(test_y, y_hat)}")
print(f"训练集R^2：{lr.score(train_X, train_y)}")
print(f"测试集R^2：{lr.score(test_X, test_y)}")

多元线性回归模型python代码多元线性回归模型程序_可视化_02

meshgrid的演示

# meshgrid的演示
x1 = np.array([2, 3, 4])
x2 = np.array([2, 3, 4, 5])
X1, X2 = np.meshgrid(x1, x2)
display(X1)
display(X2)

多元线性回归模型python代码多元线性回归模型程序_可视化_03

程序解释

多元线性回归模型python代码多元线性回归模型程序_可视化_04

前一元线性回归，样本点，标签值，是自己造的，
现在新引入make_regression

调用make regression，有几个参数，
N_samples 生成的样本数量，默认是100，
N_features 生成的特征数量，有几个x 指定为2 就是二元，
coef是否返回生成的权重，也就是w的值
根据什么进行随机
因为里面是有方程的
比如y=w1x1+w2x2

Coef True的话
X
Y
w

Coef False的话

多元线性回归模型python代码多元线性回归模型程序_多元线性回归程序_05

Bias是偏置，默认也是0。

why？

因为线性回归不一定都是过原点的。

多元线性回归模型python代码多元线性回归模型程序_可视化_06

Noise 是噪声，影响y值波动的情况。
然后切分，生成数据集里面的实际权重，上面的make_regresstion

拟合情况，noise设定的是5.5，

多元线性回归模型python代码多元线性回归模型程序_可视化_07

训练集都不好的话，训练集也不会好；测试集的表现重要一些，把样本数据和样本数据对应的标签都放进去。

多元线性回归模型python代码多元线性回归模型程序_可视化_08

看到均方误差，是不是就很大了？

不是，因为数量积不一样，这里面权重打多了。

$多元线性回归模型python代码多元线性回归模型程序_sklearn.metrics_09$ 的值是0.97，上一个才0.92。

12. 多元线性回归模型可视化(with codes)

import matplotlib as mpl
import matplotlib.pyplot as plt
mpl.rcParams["font.family"] = "SimHei"
mpl.rcParams["axes.unicode_minus"] = False
#Axes3D 用来绘制3D图形的类。
from mpl_toolkits.mplot3d import Axes3D

# 设置绘图后，以弹出框的形式显示。因为嵌入显示（默认）的形式，图像为一张图片，
# 无法进行拖动而转换角度。这在三维图中不利于观察。
%matplotlib qt

# 分别返回x1与x2两个特征的最大值。
max1, max2 = np.max(X, axis=0)
# 分别返回x1与x2两个特征的最小值。
min1, min2 = np.min(X, axis=0)
# 在x1轴的区间上取若干点。
x1 = np.linspace(min1, max1, 30)
# 在x2轴的区间上取若干点。
x2 = np.linspace(min2, max2, 30)
# 接收两个一维数组。进行网格扩展。过程：将x1沿着行进行扩展，扩展的行数与x2含有的元素
# 个数相同。将x2沿着列进行扩展，扩展的列数与x1含有的元素个数相同。返回扩展之后的X1与X2（并非
# 就地修改）。X1与X2的形状（shape）是相同的。
# 扩展的目的：依次对位取出X1与X2中的每个元素，就能够形成x1与x2（原始的一维数组x1与x2）中任意
# 两个元素的组合，进而就能够形成网格的结构。
X1, X2 = np.meshgrid(x1, x2)
# 创建一个画布对象，用于绘制图像。
fig = plt.figure()
# 创建Axes3D对象，用于绘制3D图。参数指定画布对象，表示要在哪个
# 画布上进行绘制。（要绘制图像，就不能离开画布对象的支持。）
ax = Axes3D(fig)
# 绘制3D散点图。
ax.scatter(X[:, 0], X[:, 1], y, color="b")
# 绘制3D空间平面（曲面）。预测的y_hat值需要与X1或X2的形状相同。
# rstride 在行（row）的方向上前进的距离。
# cstride 在列（column）的方向上前进的距离。
# 距离越大，网格越宽。
# cmap colormap，指定绘制的风格。可以通过plt.cm.颜色图对象进行指定。
# alpha 指定透明度。
surf = ax.plot_surface(X1, X2, lr.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
        rstride=5, cstride=5, cmap=plt.cm.rainbow, alpha=0.5)
# 显示颜色条。可以观察到每种颜色所对应的值。参数指定为那个图像对象所设定。
fig.colorbar(surf)
plt.show()

多元线性回归模型python代码多元线性回归模型程序_多元线性回归程序_10