Moe 神经网络 神经网络 mse

线性神经网络与感知器的主要区别

线性神经网络与感知器的主要区别: 感知器的传输函数只能输出两种可能的值，而线性神经网络的输出可以取任意值，其传输函数是线性函数。
线性神经网络在收敛的精度和速度上较感知器都有了较大提高，但由于其线性运算规则，它也只能解决线性可分的问题。
线性神经网络在结构上与感知器网络非常相似，只是神经元传输函数不同。

例子

若网络中包含多个神经元节点，就能形成多个输出，这种线性神经网络叫Madaline网络。

Madaline可以用一种间接的方式解决线性不可分的问题，方法是用多个线性函数对区域进行划分，然后对各个神经元的输出做逻辑运算。

LMS学习算法数学基础

采用均方误差mse作为评价指标

d(mse)/dw=0 时最优解

Q 是输入训练样本的个数。线性神经网络学习的目标 是找到适当的 w ，使得误差的均方差最小。只要用 mse 对 w 求偏导，再令该偏导等于零即可求出 mse 的极值(多元微分)。显然，mse 必为正值，因此二次函数是凹向上的，求得的极值必为极小值。

更新LMS误差表示

为什么变为1/2——简化计算公式（一般工程上使用）

权值修正

计算流程

（1）定义变量和参数。
（2）初始化。给向量赋一个较小的随机初值 。
（3）输入样本，计算实际输出和误差。
（4）调整权值向量。

（5）判断算法是否收敛。若满足收敛条件，则算法结束 ，否则跳转到第3步重新计算。

LMS算法中学习率的选择

学习率越小，算法的运行时间就越长，算法也就记忆了更多过去的数据。因此，学习率的倒数反映了LMS算法的记忆容量大小。

1996年Hayjin证明，只要学习率满足下式，LMS算法就是按方差收敛的

自相关矩阵的主对角线元素就是各输入向量的均方值 ，故:

在感知器学习算法中曾提到，学习率随着学习的进行逐渐下降 比始终不变更加合理。

学习率变化函数：