深度学习入门笔记（三）：求导和计算图
0、写在前面
这一次主要是想对微积分和导数直观理解一下。很多人在想或许自从大学毕以后，再也没有接触微积分。不要担心，为了高效应用神经网络和深度学习，其实 并不需要非常深入理解微积分。
如果你是精通微积分的那一小部分人群，对微积分非常熟悉，可以跳过这个笔记。
1、导数
导数，也叫导函数值，又名微商，是微积分中的重要基础概念，但是其实理解起来并没有那么难。来看一个例子：
一个函数 f(a)=3af(a)=3af(a)=3a，如图可以看出它是一条直线，这个别说你不会，xD。那么什么是导数，简单理解一下：
看看函数中几个点，假定 a=2a=2a=2，那么 f(a)=3af(a)=3af(a)=3a 是 aaa 的 3 倍，也就是 3 * 2 = 6，即若 a=2a=2a=2，那么函数 f(a)=6f(a)=6f(a)=6，第一个点就是（a，f(a)）=（2，6）（a，f(a)）=（2，6）（a，f(a)）=（2，6）。
如果假定稍微改变一点点 aaa 的值，只增加一点，变为 2.001（只增加了 0.001），这时 aaa 将向右做微小的移动。0.001 的差别实在是太小了，10−310^{-3}10−3 数量级的移动，不能在图中很明显地看出来，这里稍稍夸张了一下，意思到位就ok。现在 f(a)=3af(a)=3af(a)=3a 等于 aaa 的 3 倍是 2.001 * 3 = 6.003。
请看这个绿色小清新的三角形！！！根据刚才的结果，如果向右移动 0.001，那么 f(a)f(a)f(a) 增加 6.003 - 6 = 0.003，f(a)f(a)f(a) 的值增加 3 倍于右移的 aaa，0.003 / 0.001 = 3，因此我们说函数 f(a)f(a)f(a) 在 a=2a=2a=2点的导数就是在这个点的斜率，而这个点的斜率是 3，那么斜率是什么？
已知一个图如上，斜率 K 计算公式如下：
导数这个概念意味着斜率！！！导数 这个词，听起来就是一个很可怕、很令人惊恐的词，但是 斜率 以一种很友好的方式来描述导数这个概念。所以提到导数，不严格的说，就把它当作函数的斜率就好了。通过一个例子来体会一下斜率的定义，在上图的绿色三角形中，用三角形的高除以三角形的宽，即斜率等于 0.003 / 0.001 = 3，等于3，或者说导数等于 3。这意味着什么呢？这意味着当你将 aaa 右移 0.001时，f(a)f(a)f(a) 的值增加 3 倍水平方向的量。
如果换个数呢？现在假设 a=5a=5a=5 也是一样的，此时 f(a)=3a=15f(a)=3a=15f(a)=3a=15。把 aaa 右移一个很小的幅度，增加到 5.001，根据 f(a)=3af(a) = 3af(a)=3a 可以得到 3 * 5.001 = 15.003。即在 a=5a=5a=5 时，斜率是 3。这就表示，当变量 aaa 的值发生微小改变时，df(a)da=3\frac{df(a)}{da}=3dadf(a)=3。一个等价的导数表达式还可以这样写 ddaf(a)\frac{d}{da}f(a)dadf(a) ，即 f(a)f(a)f(a) 放在上面或者放在右边都没有关系，是一样的。
那就是导数的正式定义！！！数学上导数用 f′(a)=df(a)daf'(a) = \frac{df(a)}{da}f′(a)=dadf(a) 表示。
导数的一个特性是：这个例子中的这个函数在任何地方的斜率总是等于 3，不管 a=2a=2a=2 或 a=5a=5a=5，这个函数的斜率总等于3，也就是说导数总等于 3。那么所有的函数斜率都是不变的嘛？当然不是，下面这个例子中函数在不同点的斜率是可变的。
2、深入理解导数
下面来看一个更加复杂的例子，有多复杂？在这个例子中，函数在不同点处的斜率是不一样的，别慌，先来举个例子：
这里有一个不一样的函数，f(a)=a2f(a)={{\text{a}}^{\text{2}}}f(a)=a2，直观上看，是个曲线，眉头一皱，感觉事情不太对劲。现在如果假设 a=2a=\text{2}a=2 的话，那么 f(a)=a2f(a)={{\text{a}}^{\text{2}}}f(a)=a2 可以得到 f(2)=22=4f(2) = 2^2 = 4f(2)=22=4。还是稍稍往右推进一点点，现在 a=2.001a=\text{2}.\text{001}a=2.001，则 f(a)≈4.004f(a)\approx 4.004f(a)≈4.004 (为什么要约等于？如果你用计算器算的话，就会发现这个准确的值应该为4.004001，只是为了简便起见，省略了后面的部分)。
还是画图的方法进行理解，得到一个小三角形，如果细心的话你就会发现，这次严格意义上并不是三角形。如果把 aaa 往右移动 0.001，那么 f(a)f(a)f(a) 将增大四倍，即增大 4.004 - 4 = 0.004，而 0.004 / 0.001 = 4。
在微积分中，把这个三角形斜边的斜率，称为 f(a)f(a)f(a) 在点 a=2a=\text{2}a=2 处的导数(即为 4 )；或者写成微积分的正式定义形式，当 a=2a=\text{2}a=2 的时候， ddaf(a)=4\frac{d}{da}f(a)=4dadf(a)=4。由此可知，函数 f(a)=a2f(a)={{a}^{{2}}}f(a)=a2，在 aaa 取不同值的时候，它的斜率是不同的，这和上面的例子显然是不同的。
如果你还是不太理解的话，这里有种直观的方法可以解释，就是画图法。为什么一个点的斜率，在不同位置会不同如果？我们可以在曲线上的不同位置，画一些小小的三角形你就会发现，三角形高和宽的比值，即斜率，在曲线上不同的地方是不同的。所以当 a=2a=2a=2 时，斜率为 4；而当 a=5a=5a=5 时，斜率为 10。
如果严谨地说，可以百度导数表。你会发现，函数 f(a)=a2f(a)={{a}^{{2}}}f(a)=a2 的斜率（即导数）为 2a2a2a，而函数 f(a)=3af(a)=3af(a)=3a 的斜率（即导数）为3。
这意味着什么？这么说，如果任意给定一点 aaa，稍微将 aaa 增大 0.001，两个函数增大的完全不一样。一个是和 aaa 有关的，而另一个则是常数。
来小结一下：
- 导数就是斜率，而函数的斜率在不同的点可能是不同的。在 f(a)=3af(a)=\text{3}af(a)=3a 时，在任何点它的斜率都是相同的，均为3。但对 f(a)=a2f(a)={{\text{a}}^{\text{2}}}f(a)=a2，斜率是变化的，所以它们的导数或者斜率，在曲线上不同的点处是不同的。
- 如果想知道一个函数的导数，可参考导数表，然后应该就能找到这些函数的导数公式，直接带数就完事了。
3、计算图
一个神经网络的计算大体上可以看成是，前向或反向传播组合而成的。只有公式描述，确实有一些晦涩，这个时候我们想到了计算图。计算图是什么？
计算图是一种描述方程的语言，既然是图，则有 节点（变量） 和 边（操作）。
这么说太官方了，来举一个比逻辑回归更加简单的，或者说不那么正式的神经网络的例子。
我们的目的是计算函数 JJJ，函数 JJJ 的组成是什么呢？是由三个变量 a,b,ca,b,ca,b,c 组成的函数，这个函数是 3(a+bc)\text{3(a}+\text{bc)}3(a+bc) 。计算这个函数实际上有三个不同的步骤，也就是拆分一下，用复合函数的思想去理解。
首先是计算 bbb 乘以 ccc，用一个函数 u=bc{u}={bc}u=bc 来表示；然后计算另一个函数 v=a+uv=a+uv=a+u；最后输出 J=3vJ=3vJ=3v，这就是要计算的函数 JJJ。这三步可以画成如下的计算图：
先画三个变量 a,b,ca,b,ca,b,c，第一步就是计算 u=bcu=bcu=bc，放个矩形框，它的输入是 b,cb,cb,c；接着还是放个矩形框，进行第二步 v=a+uv=a+uv=a+u；最后一步还是个矩形框，进行 J=3vJ=3vJ=3v。
举个例子：a=5,b=3,c=2a=5, b=3, c=2a=5,b=3,c=2 ，u=bcu=bcu=bc 就是 3 * 2 = 6；而 v=a+uv=a+uv=a+u，就是 5+6=11；JJJ 是 3 倍的 vvv ，因此，JJJ = 3 × (5 + 3 × 2)。如果把它算出来，就得到33，实际上就是 JJJ 的值。
计算图的一个大优势是：当有不同的或者一些特殊的输出变量时，例如上面例子中的 JJJ 和逻辑回归中准备优化的代价函数 JJJ，用计算图来处理会很方便。从这个小例子中可以看出，通过一个从左向右（蓝色箭头）的过程，可以计算出 JJJ 的值。而为了计算导数，从右到左（红色箭头，和蓝色箭头的过程相反）的过程是用于计算导数最自然、最直观的方式。
4、使用计算图求导数
如何利用计算图来计算函数 JJJ 的导数呢？
先不急，来看个例子，下面用到的公式：
dJdu=dJdvdvdu\frac{dJ}{du}=\frac{dJ}{dv}\frac{dv}{du}dudJ=dvdJdudv
dJdb=dJdududb\frac{dJ}{db}=\frac{dJ}{du}\frac{du}{db}dbdJ=dudJdbdu
dJda=dJdududa\frac{dJ}{da}=\frac{dJ}{du}\frac{du}{da}dadJ=dudJdadu
这是一个计算图，记录了整个流程：
假设计算 dJdv\frac{{dJ}}{{dv}}dvdJ，那要怎么算呢？如果你会微积分的话，就好说了，直接求导数没啥好说的；那么不会的话呢，也不用着急！这么看，比如要把这个 vvv 值拿过来，改变一下，那么 JJJ 的值会怎么变呢？（是不是用上了上面提到的导数讲解 ????）
首先 J=3vJ = 3vJ=3v，v=11v=11v=11，J=33J=33J=33，这是已知条件。如果让 vvv 增加一点点，比如到11.001，那么 J=3v=33.003J = 3v = 33.003J=3v=33.003，这里 vvv 增加了 0.001，而最终结果是 JJJ 上升了 0.003，也就是原来的 3 倍，所以 dJdv=3\frac{{dJ}}{{dv}}=3dvdJ=3。
为啥这么说？当然是因为对于任何 vvv 的增量，JJJ 都会有 3 倍增量。所以有 J=3vJ=3vJ=3v，推出 dJdv=3\frac{{dJ}}{{dv}} =3dvdJ=3。
吴恩达老师的手稿如下：
看另一个例子，dJda\frac{{dJ}}{da}dadJ 是多少呢？换句话说，如果提高 aaa 的值，JJJ 的数值有什么影响？
变量 a=5a=5a=5，增加到了 5.001，那么对 vvv 的影响就是 a+ua+ua+u，之前 v=11v=11v=11，现在变成 5.001 - 5 + 11 = 11.001，JJJ 就变成11.001 * 3 = 33.003，所以 aaa 增加 0.001，JJJ 增加 0.003。那么增加 aaa，aaa 的改变量会传播到计算图的最右边，所以 JJJ 最后是 33.003。所以 JJJ 的增量是 3 乘以 aaa 的增量，也就意味着导数是 3，即 dJda=3\frac{{dJ}}{da}=3dadJ=3。
吴恩达老师的手稿如下：
要解释清楚这个计算过程，就会牵扯出链式法则，名字虽然挺厉害的，其实很简单。
首先 aaa 增加了，vvv 也会增加；vvv 增加多少呢？这取决于 dvda\frac{{dv}}{da}dadv；然后 vvv 的增加导致 JJJ 也会增加。所以这在微积分里实际上叫链式法则，顾名思义，互相之间被链住了，一个变化都会变化。
那么怎么计算一个链式法则的求导呢？
其实不难，前面给了三个公式，这就是答案。通过分解的方法，把整个链式法则分解为几个小的链子，分别求导再相乘，就解出正确答案了。
通过改变一个变量来看另一个变量的变化关系这种方法，我们得到了 dJdv=3\frac{{dJ}}{{dv}} =3dvdJ=3、dvda=1\frac{{dv}}{da} =1dadv=1，所以 dJda=dJdvdvda=3∗1=3\frac{{dJ}}{da}=\frac{{dJ}}{{dv}} \frac{{dv}}{da}=3 * 1=3dadJ=dvdJdadv=3∗1=3，即为所求。
下图表示了整个计算过程：
继续计算另一条线的导数，也就是这个 uuu，那么 dJdu\frac{dJ}{du}dudJ 是多少呢？
通过和之前类似的计算，这里简单说一下。从 u=6u=6u=6 出发，令 uuu 增加到 6.001，vvv 之前是 11，现在变成 6.001 - 6 + 11 = 11.001，JJJ 从 33 变成 33 * 3 = 33.003，所以 dJdu=3\frac{{dJ}}{du}= 3dudJ=3。
对 uuu 的分析很类似对 a 的分析，为啥这么说呢？实际上还是计算，dJdu=dJdv⋅dvdu\frac{{dJ}}{du}=\frac{{dJ}}{dv}\cdot \frac{{dv}}{du}dudJ=dvdJ⋅dudv，又因为有 dJdv=3\frac{{dJ}}{dv} =3dvdJ=3、dvdu=1\frac{{dv}}{du} = 1dudv=1，最终算出的结果是 3×1=33×1=33×1=3，所以可以看出对 uuu 的分析类似对 a 的分析。
吴恩达老师的手稿如下：
现在，来看最后一个例子，那么 dJdb\frac{{dJ}}{db}dbdJ 呢？
事实上，使用微积分链式法则，这也可以写成乘积的形式，就是 dJdb=dJdu⋅dudb\frac{{dJ}}{db}=\frac{{dJ}}{du}\cdot \frac{{du}}{db}dbdJ=dudJ⋅dbdu。
当 bbb 增加 0.001 变成 3.001 时，u=bcu=bcu=bc 就变成 3.001 * 2 = 6.002，uuu 增加了 6.002 - 6 = 0.002，也就是 bbb 的增加量的二倍，所以 dudb=2\frac{{du}}{db} =2dbdu=2。那么 dJdu\frac{{dJ}}{du}dudJ 是多少呢？在前面我们已经弄清楚了，等于 3，所以这两部分相乘，可得 dJdb=6\frac{{dJ}}{db}= 6dbdJ=6。
其实还有另一个例子，不过 ccc 和 bbb 是比较相似的。经过计算你会发现 dJdc=dJdu⋅dudc=3×3\frac{{dJ}}{dc} =\frac{{dJ}}{du}\cdot \frac{{du}}{dc} = 3 \times 3dcdJ=dudJ⋅dcdu=3×3，这个结果是 9。
吴恩达老师的手稿如下：
所以当计算所有这些导数时，最有效率的办法是从右到左计算，跟着这个红色箭头走，充分利用计算图的优势。特别是当第一次计算对 vvv 的导数时，之后在计算对 aaa 导数时，然后对 uuu 的导数，最后是对 bbb 和 ccc 的导数。
到这里，计算图求导数就完事了。这是一个计算图，也是一个流程图。是不是简单了好多，尤其是对 bbb 和 ccc 的导数！！！
