生物神经网络
神经元细胞：树突（in） + 轴突（out）
人工神经网络
人工神经元模型——MP神经元模型是1943年，由Warren McCulloch和Walter Pitts提出的。
其中，
- y是输出
- φ是激活函数
- b是偏移
- ∑表示对每一个输入*该输入的权重的结果求和
先对输入进行线性变换，再进行非线性变换（激活函数）。
激活函数（activation functions）
目标：
激活函数的目标将神经网络非线性化。
如果是线性化时，多层神经网络会塌缩成一层……
特性
激活函数本身是连续的且可导的。
连续的（continuous）：
当输入值发生较小的改变时，输出值也发生较小的改变；
可导的（differential）：
在定义域中，每一处都是存在导数；
参考：《普林斯顿微积分读本》，第5章：连续性和可导性
常见的激活函数有：
阶跃函数：
- Rectified Linear Unit(ReLU) - 用于隐层神经元输出
- Sigmoid - 二分类
- Softmax - 多分类
- Linear - 回归
- Tanh -
