python 画损失函数曲线

原创

mob649e816a3664 2023-12-27 03:56:22 ©著作权

文章标签 损失函数 python Python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e816a3664的原创作品，请联系作者获取转载授权，否则将追究法律责任

用Python画损失函数曲线

介绍

损失函数是机器学习中非常重要的概念，它用于衡量模型的预测值与真实值之间的差距。在训练模型的过程中，我们希望通过调整模型的参数，使得损失函数的值最小化。在本文中，我们将使用Python来画出损失函数的曲线，并通过一个具体的例子来说明。

什么是损失函数？

损失函数是用来衡量模型预测值与真实值之间的差距的函数。在机器学习中，我们通常使用均方误差（Mean Squared Error）作为损失函数。均方误差的定义如下：

$$ MSE = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 $$

其中，$y_i$ 是真实值，$\hat{y}_i$ 是模型的预测值，$N$ 是样本数量。均方误差的值越小，说明模型的预测结果与真实值之间的差距越小。

如何画损失函数曲线？

要画出损失函数的曲线，我们需要先定义一个模型，并选择一个优化算法来调整模型的参数。在这里，我们选择一个简单的线性回归模型，并使用梯度下降算法来调整模型的参数。

首先，我们需要导入一些必要的库：

import numpy as np
import matplotlib.pyplot as plt

然后，我们定义一个简单的线性回归模型：

class LinearRegression:
    def __init__(self):
        self.w = None
    
    def fit(self, X, y):
        X = np.insert(X, 0, 1, axis=1)  # 在X的第一列插入全为1的列向量，用于计算常数项
        self.w = np.linalg.inv(X.T @ X) @ X.T @ y
    
    def predict(self, X):
        X = np.insert(X, 0, 1, axis=1)
        return X @ self.w

接下来，我们生成一些样本数据，用于训练我们的模型：

np.random.seed(0)
X = np.random.rand(100, 1)
y = 2 * X + 3 + np.random.randn(100, 1)

然后，我们定义一个函数来计算均方误差：

def mean_squared_error(y_true, y_pred):
    return np.mean((y_true - y_pred) ** 2)

接下来，我们可以使用梯度下降算法来调整模型的参数：

lr = LinearRegression()
lr.fit(X, y)
predictions = lr.predict(X)

最后，我们可以画出损失函数的曲线：

weights = np.linspace(-10, 10, 100)
losses = []

for w in weights:
    lr.w = np.array([[w], [3]])  # 将模型的参数设置为当前的权重值和一个固定的偏置项
    predictions = lr.predict(X)
    loss = mean_squared_error(y, predictions)
    losses.append(loss)

plt.plot(weights, losses)
plt.xlabel('Weight')
plt.ylabel('Loss')
plt.title('Loss function curve')
plt.show()

运行上述代码，我们将得到如下的损失函数曲线：

Loss Function Curve