线性神经网络

线性神经网络和单层感知器的区别主要在于：感知器的传输函数只能输出两种可能的值，而线性神经网络可以输出任意值，其传输函数是线性函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nhfe9NwC-1584019058490)(https://i.loli.net/2018/05/08/5af0f89347502.png)]
如图所示，线性神经网络可以产生二值输出(图中的$q$)和模拟输出(图中的$y$)

和感知器类似，先行神经网络的变量：
$x(n)=[1, x_1(n),x_2(n),...,x_N(n)]^T$
$w(n)=[b(n),w_1(n),w_2(n),...,w_N(n)]^T$
$b(n)=偏置$
$y(n)=实际输出=f(x(n)^Tw)=x(n)^Tw$
$d(n)=期望输出$
$\eta=学习率，0<\eta<1$
激活函数$f=purelin$(线性函数$y=x$)

LMS算法

线性神经网络的闪光之处在于其学习算法LMS。LMS算法只能训练单层网络。

第n次迭代的信号误差$e(n)=d(n)-x^T(n)w(n)$
对$w$求偏导可得$\frac {\partial e(n)} {\partial w}=-x^T(n)$
代价函数$E(w)=\frac 1 2 e^2(n)$
对$w$求偏导可得$\frac {\partial e(n)} {\partial w}=e(n)\frac {\partial e(n)} {\partial w}$
综上可得$\frac {\partial E} {\partial w}=-x^T(n)e(n)$
因此，根据梯度下降法$w(n+1)=w(n)+\eta (-\nabla)=w(n)+\eta(-\frac {\partial E} {\partial w})=w(n)+\eta x^T(n)e(n)$

LMS算法中学习率的选择

确保收敛的学习率

1996年Hayjin证明只要学习率$\eta$满足$0<\eta<\frac 2 {\lambda_{max}}$LMS算法就是按方差收敛的。其中$\lambda_{max}$是输入向量$x(n)$组成的自相关矩阵$R$的最大特征值。由于$\lambda_{max}$常常不可知，往往用$R$的迹来代替$tr(R)=\sum_{i=1}^QR(i,i)$
同时，矩阵的迹等于所有特征值之和，因此$tr(R)>\lambda_{max}$
只要取$0<\eta<\frac 2 {tr(R)}<\frac 2 {\lambda_{max}}$即可满足条件。
按定义，自相关矩阵的主对角线元素之和就是各输入向量的均方值，因此公式又可以写成$0<\eta<\frac 2 {向量均方值之和}$

学习率逐渐下降

学习初期，用较大的学习率保证收敛速度，随着迭代次数增加，减小学习率保证精度，确保收敛。

• $\eta=\frac {\eta_0} {n}$
• $\eta=c^n\eta_0,c接近1但小于1$
• $\eta=\frac {\eta_0} {1+\frac n \tau}, n_0和\tau均为常数$