文章目录
- 一、多元梯度下降算法
- 1.多变量梯度下降
- 2.多元梯度下降法
- 3.多元梯度下降法实用技巧-特征缩放
- 4.均值归一化
- 5.学习率𝑎
- 二、正规方程
- 三、梯度下降算法与正规方程的区别
一、多元梯度下降算法
1.多变量梯度下降
单一特征量的假设函数:ℎ𝜃(𝑥) = 𝜃^𝑇𝑋= 𝜃0 + 𝜃1𝑥1
多个特征量的假设函数:
ℎ𝜃(𝑥) = 𝜃^𝑇𝑋 = 𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2+. . . +𝜃𝑛𝑥n
n:表示特征量的数目
:表示第i个训练样本的输入特征值
:表示第i个训练样本的第j个输入特征值
2.多元梯度下降法
使用多元梯度下降法来处理多元线性回归。
更新的过程于单一特征量梯度下降算法一样,规定:=1
3.多元梯度下降法实用技巧-特征缩放
在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。
以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的值为 0-2000 平方英尺,而房间数量的值则是 0-5,以两个参数分别为横纵坐标,绘制代价函数的等高线图能,看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。
图片越瘦,下降越缓慢
特征缩放,为了使梯度下降的速度变得更快,收敛所需要迭代的次数更少。
如果我们采用多项式回归模型,在运行梯度下降算法前,特征缩放非常有必要。
4.均值归一化
在特征缩放中,有时会进行“均值归一化“的工作
5.学习率𝑎
梯度下降算法的每次迭代受到学习率的影响,如果学习率𝑎过小,则达到收敛所需的迭代次数会非常高;
如果学习率𝑎过大,每次迭代可能不会减小代价函数,可能会越过局部最小值导致无法收敛。
通常可以考虑尝试些学习率:
𝛼 = 0.01,0.03,0.1,0.3,1,3,10
二、正规方程
到目前为止,我们都在使用梯度下降算法,但是对于某些线性回归问题,正规方程方法是更好的解决方案。
正规方程:一次性求得最优解
正规方程是通过求解下面的方程来找出使得代价函数最小的参数的:
假设我们的训练集特征矩阵为 𝑋(包含了 𝑥0 = 1)并且我们的训练集结果为向量 𝑦,则利用正规方程解出向量 𝜃 = (
三、梯度下降算法与正规方程的区别
梯度下降 | 正规方程 |
需要选择学习率𝛼 | 不需要 |
需要多次迭代 | 一次运算得出 |
当特征数量𝑛大时也能较好适用 | 需要计算(𝑋𝑇𝑋)−1 如果特征数量𝑛较大则 运算代价大,因为矩阵逆的计算时间复杂度 为𝑂(𝑛3),通常来说当𝑛小于 10000 时还是 可以接受的 |
适用于各种类型的模型 | 只适用于线性模型,不适合逻辑回归模型等 其他模型 |
特征变量数量小于一万:使用标准方程法(正规方程),而不使用梯度下降法。
正规方程的 python 实现:
import numpy as np
def normalEqn(X, y):
theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X 等价于 X.T.dot(X)
return theta