*注:本博客参考李宏毅老师2020年机器学习课程
目录
- 1 神经网络
- 1.1 全连接前馈神经名词解释
- 2 深度学习
- 3 深度学习中的典型问题
- 3.1 为什么需要“深度学习”
- 3.2 深层结构的求导问题
1 神经网络
在逻辑回归任务中，我们使用到的模型是一个函数，其中包含许多参数，最终模型的输出y可以表示为：
用图来表示为：
(图1)*
如果将虚线框中的部分用一个单元来表示，称为“神经元”，那么可以将上图简化为：
(图2)
我们可以将多个这样的神经元相互连接，以一个神经元的输出作为另一个神经元的输入，那么可以构成一个复杂的网状结构，如下图：
(图3)
我们称具有这样结构的网络为“全连接前馈神经网络”。
1.1 全连接前馈神经名词解释
- 全连接：所谓全连接，指的是网络中的任何一层的每一个神经元都与下一层的每一个神经元相连接，即对每一个神经元，其输入是上一层所有神经元的输出，其输出是下一层每一个神经元的输入的一部分；
- 前馈：所谓的前馈神经网络，是指网络的运算顺序是从第一层开始，逐层运算，直到最后的输出层；
- 输入层：在图3的神经网络结构中，输入为一个n维向量，在网络中称为输入层；
- 输出层：在图3的神经网络结构中，输出为一个m维向量，称为输出层。m与n没有必然联系，不一定相等；
- 隐藏层：在输入层与输出层之间的结构，统称为隐藏层。隐藏层各层的神经元数目一般人为设计，不同结构的网络处理问题的能力也有很大不同。注：目前已有一些基因算法，可以自动求解合适的网络结构，然而这些方法目前没有实际运用到问题的解决中。
2 深度学习
神经网络和深度学习是两个接近但略有不同的概念。一般把隐藏层较深的神经网络称为深度神经网络，研究深层的神经网络的方法就称为“深度学习”方法。但是对于“较深”这一概念没有明确的界限，因此目前提到神经网络和深度学习两个概念有时也等同起来。
在深度学习中，基本的方法与回归任务中类似，有以下三步：
- 设计网络结构；
- 前向传播，计算损失；
- 反向传播，更新参数；
其中第2和第3步根据设置的停止条件，可能依次执行多次。
3 深度学习中的典型问题
3.1 为什么需要“深度学习”
有研究指出，隐藏层只有一层的神经网络，就能够表达任何复杂的函数。既然如此，为什么还需要构建具有深层结构的神经网络呢？
3.2 深层结构的求导问题
如果神经网络具有非常深的网络结构，在反向传播计算导数时，会带来3个问题：
- 深层结构的函数表达式非常复杂，计算对每一个参数的偏导值将是一项十分庞大的工作；
- 深层结构的网络已经不是线性结构，其函数值可能会存在局部最小值，即在求导时导数值为0，但是在这一点处并非最优的网络结构；
- 深层结构更容易导致过拟合问题；
对于这些问题，以后会一一介绍解决的方法。
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
