卷积函数中激活函数 卷积冲激函数的导数

文中的卷积除非是特别说明，否则就是指互相关运算。 

 1.对参数W的求导

图一

 从公式的角度比较容易理解和推导，以下是个人对其过程更直观的理解。

 图二

在进行卷积的过程中，卷积核中的每个数

会扫描一个区域，如图中黄色区域所示，和卷积后的结果Y的大小一致。f(Y)在对

进行求导数时，利用求导的链式法则，f(Y)先对Y的每一个区域进行求导，再对

求导，图一中5.14公式所示。Y的每一个区域对

求导就是黄色区域对应位置的x的值，所以f(Y)对

的偏导数就是f(Y)先对Y求偏导数，再与黄色区域的卷积。卷积核中其他变量的情况都是一样的。最终能够得到对整个卷积核的偏导数为图一中公式5.17。

 2.对变量X的求导 

 

图三 

 

 从公式的角度比较容易理解和推导，以下是个人对其过程更直观的理解。

图四 （红色部分为padding）

 f(Y)对变量的求导，依旧是先对Y的每个区域进行求导，再对求导，如图四所示，只有卷积核完全进入到X的黄色区域的时候，对应的Y的区域才会包含变量，求导才会不为0，对应的Y的区域也是黄色部分，黄色中1位置对求导为卷积中的1位置，以此类推，可以发现f(Y)对求导为卷积核与Y中黄色区域的真正的二维卷积（不是互相关），但是将W旋转180度再做互相关运算。当移向下一个位置，变为

，两个黄色区域也向右移动一个单位，同理，向上向下向左一致，在边缘的部分，黄色的区域会变小，如图中的蓝色部分，为了保持计算的一致，可以Y在边缘padding，这样在进行旋转卷积操作后，发现恰好是对x的偏导数。