目录
0. 前言
1. 神经网络模型
2. 前向传播（forward propagation）
3. 神经网络中的多分类
学习完吴恩达老师机器学习课程的神经网络，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。
如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~
0. 前言
神经网络（Neural Network），是通过模拟生物大脑的突触神经传播电信号的一系列过程，来模拟生物思考，进而解决分类问题，通常，神经网络可以用来解决一些非线性的问题。
- 输入层（input layer）：输入
- 隐藏层（hidden layer）：对输入层作一系列“处理”，“处理”通常由系数的运算和激活函数组成，隐藏层可以有多层
- 输出层（output layer）：接受隐藏层的输出，再进行一系列处理，最终输出
给出符号的初始定义：
- --- 第 层到第 层之间的权重矩阵
- --- 为第 层的第 个激活单元所计算的值
- --- 第 层的第 个激活单元
1. 神经网络模型
简单神经网络模型如下所示（图源：吴恩达机器学习，更改后）。Layer1为输入层，Layer2为隐藏层，Layer3为输出层。
隐藏层中的每一个激活单元，都使用了来自输入层的每一个单元的数值；输出层中的每一个激活单元，都使用了来自隐藏层中的每一个单元的数值。
注： 是偏置单元（bias unit），为一常数，不接收前一层的输入。
这里
可以看作是
，为第一层（输入层）的激活单元。
2. 前向传播（forward propagation）
对于隐藏层和输出层的激活单元的计算，我们可给出如下计算公式，其中
仍然表示
函数：
简单来说，这一层的每一个激活单元，都需要由上一层的每一个激活单元乘以一个系数再求和，包裹一个激活函数（此处为 函数）得到，然后为这一层增加一个偏置单元，继续进行下一层的计算。这种由输入层，逐渐向后计算，计算到输出层的方式，称为前向传播（forward propagation）。
同样，我们可以将其向量化，
，
，
，
，给出公式如下：
其中，
的维度为
，
表示第
层的单元数量（不包括偏置单元）。
一般化，可得以下公式：
3. 神经网络中的多分类
在逻辑回归中，我们已经学习得知
表示分类至此类别的概率。所以，多分类由几个基分类器组成，计算每个类别的
，最大的
的类别即为分类结果。
同理，在神经网络中，也是运用此原理，如下图所示（图源：吴恩达机器学习）：
图为一个4分类的例子，输出层不再只有一个单元，而是4个单元，每一个单元表示分类至此类别的
，也就是概率，概率最大的即为分类结果。
如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~
