人工神经网络
- 神经元与神经网络
- 使用步骤
- 神经元与神经网络
- 麦克洛奇和皮兹的M-P模型
- 激活函数
- 性质
- 阶跃函数
- 对称阶跃函数
- sigmoid函数（S型函数）
- Tanh函数（双曲正切S型函数）
- ReLU函数（线性整流单元rectified linear units）
- Softplus函数
- 神经网络的结构
- 前馈型神经网络（ 前向型）BP-非动力学
- 反馈型（直接或间接）-非线性动力学系统
- 神经网络的工作方式
- 网络模型参数学习
- 损失函数
- 梯度下降法
- 反向传播
- BP神经网络
神经元与神经网络
使用步骤
1、建立模型：选择什么样的网络结构 ； 选择多少层数，每层选择多少神经元
2、损失函数 ：选择常用损失函数，平方误差，交叉熵….
3、参数学习 ：梯度下降； 反向传播算法
神经元与神经网络
人工神经网络（artificial nerual networks)：是机器学习中的一 个重要模型，简称为神经网络（NN）。
深度学习（deep learning）：是神经网络发展起来的，深度最初是指神经网络模型中隐层层数超过1层，深度理解为深度网络结果， 能模仿人脑进行数据处理和决策模式方面的工作
神经网络具有下面几个特点：
1、 能充分逼近复杂的非线性关系
2、可以并行分布处理
3、具有高度的鲁棒性和容错能力
4、具有学习能力和自组织能力。
麦克洛奇和皮兹的M-P模型
激活函数
性质
1、非线性：线性激活层对于深层神经网络没有作用；仍为线性变换；
2、连续可微：梯度下降法要求满足连续可微；
3、范围最好不饱和：当有饱和区间段时，若系统优化进入到该段，梯度近似 为0，网络的学习会停止；
4、单调性：当激活函数单调时，单层神经网络的误差函数为凸，易优化；
5、原点处近似线性：当权值初始化为接近0的随机值时，网络可以学习较快
阶跃函数
最早M-P模型采用的激活函数，但光滑性不好
对称阶跃函数
光滑性不好
sigmoid函数（S型函数）
可微性和单调性，饱和性
梯度消失
Tanh函数（双曲正切S型函数）
可微性和单调性，饱和性
ReLU函数（线性整流单元rectified linear units）
克服饱和性，缓解梯度消失问题
Softplus函数
接近脑神经元的激活模型
神经网络的结构
前馈型神经网络（ 前向型）BP-非动力学
1、每个神经元只与前一层的神经元相连；
2、当前层只接收前一层的输出；
3、 当前层自身的输出只能输出给下一层；
4、各层之间没有反馈；
注意：前馈神经网络中偏置单元不能有输入
反馈型（直接或间接）-非线性动力学系统
每个神经元同时将自身输出作为输入信号反馈给其他神经元，网络的 连接图中具有回路，需要工作一段时间后才能稳定。
神经网络的工作方式
同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。
异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变
网络模型参数学习
损失函数
常用损失函数：平方损失函数（回归问题）、交叉熵损失函数
好的参数使得所有训练数据的损失越小越好
梯度下降法
反向传播
BP神经网络
采用BP算法的多层前馈神经网络
BP神经网络的特点总结。 ：
（1） 多层前向网络（输入层、隐层、输出层）
（2）连接权值通过Delta学习算法进行修正
（3）神经元传输函数采用S型函数
（4）学习算法采用正向传播和反向传播
（5）层与层之间的连接是单向的，信息的传播是双向的
（6）优点：较好的逼近特性、较强的泛化能力、较好的容错性
（7）缺点：收敛速度慢、局部极值、难以确定隐层的层数和结点数。
