在学习梯度和曲面上一点处的法向量的时候,发现它们的计算方法非常相似,但是一开始进入了误区,甚至以为梯度应该是模最大的切向量。想了好久才从几何意义的角度把梯度和法向量统一,希望下面的内容能帮助你加深理解。

1.梯度

严格意义上梯度只能说是只是函数的梯度。

以二元函数  

支持向量机次梯度法的收敛性 梯度 法向矢量_抽象代数

  为例,对应的平面方程:

支持向量机次梯度法的收敛性 梯度 法向矢量_支持向量机次梯度法的收敛性_02

在某一点

支持向量机次梯度法的收敛性 梯度 法向矢量_几何学_03

=

支持向量机次梯度法的收敛性 梯度 法向矢量_神经网络_04

处,如果我们直接算

支持向量机次梯度法的收敛性 梯度 法向矢量_神经网络_04

处的梯度,得到的是一个二维向量

支持向量机次梯度法的收敛性 梯度 法向矢量_抽象代数_06

,记作向量

支持向量机次梯度法的收敛性 梯度 法向矢量_抽象代数_07

显然这个向量并不是该平面上这一点的法向量,连维度都不够格。另外,这里的梯度表示,沿

支持向量机次梯度法的收敛性 梯度 法向矢量_抽象代数_07

方向

支持向量机次梯度法的收敛性 梯度 法向矢量_几何学_09

的变化速率最快,好像是个跟切线和斜率类似的东西。

2.法向量

现在我们来算算这一点的法向量。

支持向量机次梯度法的收敛性 梯度 法向矢量_支持向量机次梯度法的收敛性_10

发现了什么?

支持向量机次梯度法的收敛性 梯度 法向矢量_抽象代数_07

支持向量机次梯度法的收敛性 梯度 法向矢量_斜率_12

支持向量机次梯度法的收敛性 梯度 法向矢量_神经网络_13

平面上的投影!

3.如何解释?

为什么算法向量和算梯度的方法那么相似?为什么法向量的投影就是梯度?

是因为我们算法向量的时候实际上是构造了大

支持向量机次梯度法的收敛性 梯度 法向矢量_神经网络_14

,这个

支持向量机次梯度法的收敛性 梯度 法向矢量_抽象代数_15

函数的梯度表示的是沿什么方向

支持向量机次梯度法的收敛性 梯度 法向矢量_几何学_09


支持向量机次梯度法的收敛性 梯度 法向矢量_几何学_17

的差值变化最快,也就是

支持向量机次梯度法的收敛性 梯度 法向矢量_几何学_17

脱离

支持向量机次梯度法的收敛性 梯度 法向矢量_几何学_09

最快
,显然应该是沿垂直切平面

的方向脱离最快。梯度是梯度,法向量是法向量,维数不同,梯度更多地是对函数的意义,法向量

更多地是对方程图像的意义,二者并不矛盾。

4.实际使用

以一个实际应用场景举例:算层流管中流速对离轴半径的梯度,这里的梯度就是“该函数”的梯度,

得到的是一个一维向量,也即一个数,但流速-半径关系的图象是二维的,该梯度并不能充当某点

处的法向量,反而反映了类似斜率的变化性质。

在神经网络中有gradient-descent的概念,该概念中梯度的意义类似。