梯度下降法

方向导数 梯度

方向导数

方向导数指的是曲面上某一点沿任意方向的变化率

我们知道在求偏导的时候，方向被限制在了坐标轴上

所以定义$u=cos\theta_i+sin\theta_j$，用来表示任意方向上的导数

方向导数:=$Duf=\lim_{t\to 0} \frac {f(x_0+tcos\theta,y_0+tsin\theta)-f(x_0,y_0)} t$

$Duf(x,y)=f_x(x,y)cos\theta+f_y(x,y)sin\theta $

梯度

梯度是一个向量

$grad f(x,y)=\frac {\partial f} {\partial x} i + \frac {\partial f} {\partial y} j |_{x= x_0 ,y= y_0 }$

梯度方向是上升方向，函数增长最快的方向

所以取梯度的反方向是下降最快的方向

梯度下降法的公式即可写作，其中$\eta$为learning rate学习率，也叫步长

$\theta=\theta_0-\eta \cdot \nabla f(\theta_0)$

多变量示例

 

矩阵表示