目录
一、多层神经网络
1、多层神经网络数学模型
2、数学模型中的非线性函数fai
1）非线性函数fai存在的意义
2）非线性函数fai具体是什么？
3、多层神经网络与单层神经网络的区别与改进
1）单层神经网络数学模型
2）多层神经网络模型
3）区别
二、三层神经网络
1、定理
2、一些概念（决策面、神经元、神经网络层数）
1）决策面
2）神经元
3）神经网络层数n
3、常见的三层神经网络模型（含w,b的参数设置）
1）一个三角形决策面的神经网络模型（两层神经网络）
2）一个四边形决策面的神经网络模型（两层神经网络）
3）一个曲线围成决策面的神经网络模型（两层神经网络）
小结1：一个决策面时最后一层常用w,b参数的设置
4)两个决策面的神经网络模型（三层神经网络）
5)两个以上决策面的神经网络模型（三层神经网络）
小结2：多个决策面时最后一层w,b常用参数和第二层w,b常用参数的设置
疑问：
一、多层神经网络
1、多层神经网络数学模型
并行化的系统
2、数学模型中的非线性函数fai
1）非线性函数fai存在的意义
如下图可知如果没有非线性函数最后得出的y依据是线性的，这就又回到了最初的单层神经网络，没有新的突破，而fai函数则图突破了这个局限性
2）非线性函数fai具体是什么？
fai函数就是阶跃函数
3、多层神经网络与单层神经网络的区别与改进
1）单层神经网络数学模型
具体见：《机器学习——人工神经网络之发展历史（神经元数学模型、感知器算法）》
2）多层神经网络模型
3）区别
多层神经网络顾名思义具有多层的神经网络，经过多层的变化后将输入的xi变化后进行y的输出
该多层神经网络数学模型和阶跃函数（fai函数）的结合可以解决所有的非线性问题，这也是多层神经网络最大的优势所在
二、三层神经网络
1、定理
三层神经网络可以模拟所有的决策面
2、一些概念（决策面、神经元、神经网络层数）
1）决策面
决策面就是每一类样本所分布的一块区域，由多条线所围成的一个区域（若由曲线围成，可以将曲线看成由无数条非常短的线组成的曲线）
三条线围成一个决策面（C1类的区域）
四条线围成一个决策面（C1类的区域）
曲线围成一个决策面（C1类的区域）——将曲线看成由无数直线构成
直线围成多个分开的决策面（C1类的区域）
2）神经元
神经元在数学模型中的位置如下图所示，神经元的个数其实就是围成决策面的直线条数，围成决策面的条数有多少，那么神经元就有多少个，若是曲线，则有无数个神经元
3）神经网络层数n
神经网络层数一般由决策面的个数决定，若决策面只有一个，神经网络数学模型采用两层神经网络就可以实现，但是如果决策面有多个（如上面的C1类的区域分开成了两个决策面）则神经网络数学模型采用三层神经网络就可以实现
决策面个数m，则神经网络层数n：
所以三层神经网络可以模拟所有的决策面
3、常见的三层神经网络模型（含w,b的参数设置）
1）一个三角形决策面的神经网络模型（两层神经网络）
2）一个四边形决策面的神经网络模型（两层神经网络）
3）一个曲线围成决策面的神经网络模型（两层神经网络）
将曲线用无数个非常短的线去替代曲线，只是神经元为无限个
小结1：一个决策面时最后一层常用w,b参数的设置
答：设决策面为1个，围成决策面的直线条数为n，则取：所有w = 1 ; b = - n + 0.5
只有一个决策面的数学模型最后一层神经网络是与逻辑关系，即所有输入为1，归类为C1，反之归类为C2
4)两个决策面的神经网络模型（三层神经网络）
一个决策面的神经元在第二层的输出为一个，有多少个决策面第二层就会有多少个输出（与关系）
5)两个以上决策面的神经网络模型（三层神经网络）
两个以上的决策面的神经网络模型和两个决策面是类似的，只是第一层的神经元数目多了，第二层的与关系多了而已
小结2：多个决策面时最后一层w,b常用参数和第二层w,b常用参数的设置
答：多个决策面时，最后一层的w,b参数固定为：w = 1 , b = -0.5
第二层每个与关系处即每一个决策面的第二层的w,b参数设置参考上面的小结1
疑问：
那么该怎么取利用这个神经网络模型去解决实际的问题呢？至今为止神经网络的理论还不够完善，大部分还是通过实验的方式来获得神经网络模型中的参数（主要是第一层中的w,b参数），也因为这样，神经网络成为了一个实验性的学科，但是也有常用的神经网络模型训练方法（训练就是通过训练样本求解参数的一个过程，，进而获得完整的模型，利用模型可以对测试样本进行分类），可以参见文章：《机器学习——人工神经网络之后向传播算法（BP算法）》
