多元回归模型 样本权重

文章目录

• 一、多元梯度下降算法

• 1.多变量梯度下降
• 2.多元梯度下降法
• 3.多元梯度下降法实用技巧-特征缩放
• 4.均值归一化
• 5.学习率𝑎

• 二、正规方程
• 三、梯度下降算法与正规方程的区别

一、多元梯度下降算法

1.多变量梯度下降

单一特征量的假设函数：ℎ𝜃(𝑥) = 𝜃^𝑇𝑋= 𝜃0 + 𝜃1𝑥1
多个特征量的假设函数：
ℎ𝜃(𝑥) = 𝜃^𝑇𝑋 = 𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2+. . . +𝜃𝑛𝑥n

n:表示特征量的数目
$x^{(i)}$:表示第i个训练样本的输入特征值
$x_y^{(i)}$:表示第i个训练样本的第j个输入特征值

2.多元梯度下降法

使用多元梯度下降法来处理多元线性回归。

更新的过程于单一特征量梯度下降算法一样，规定：$x^{(i)}$=1

3.多元梯度下降法实用技巧-特征缩放

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。

以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

图片越瘦，下降越缓慢
特征缩放，为了使梯度下降的速度变得更快，收敛所需要迭代的次数更少。
如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。

4.均值归一化

在特征缩放中，有时会进行“均值归一化“的工作

5.学习率𝑎

梯度下降算法的每次迭代受到学习率的影响，如果学习率𝑎过小，则达到收敛所需的迭代次数会非常高；
如果学习率𝑎过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。
通常可以考虑尝试些学习率：
𝛼 = 0.01，0.03，0.1，0.3，1，3，10

二、正规方程

到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案。

正规方程：一次性求得最优解

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：

假设我们的训练集特征矩阵为 𝑋（包含了 𝑥0 = 1）并且我们的训练集结果为向量 𝑦，则利用正规方程解出向量 𝜃 = ($x^{𝑇}x)^{−1}x^𝑇y$

三、梯度下降算法与正规方程的区别

梯度下降	正规方程
需要选择学习率𝛼	不需要
需要多次迭代	一次运算得出
当特征数量𝑛大时也能较好适用	需要计算(𝑋𝑇𝑋)−1 如果特征数量𝑛较大则 运算代价大，因为矩阵逆的计算时间复杂度 为𝑂(𝑛3)，通常来说当𝑛小于 10000 时还是 可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等 其他模型

特征变量数量小于一万：使用标准方程法（正规方程），而不使用梯度下降法。

正规方程的 python 实现：

import numpy as np
def normalEqn(X, y):
 theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X 等价于 X.T.dot(X)
 return theta