RBF径向基神经网络理解（2）

径向基函数（RBF，Radial Basis Function）神经网络是由 J.Moody 和 C.Darken 于 20 世纪 80 年代末提出的一种神经网络，径向基函数方法在某种程度上利用了多维空间中传统的严格插值法的研究成果。

最基本的径向基函数（ RBF）神经网络的构成包括三层，其中每一层都有着完全不同的作用。输入层由一些感知单元组成，它们将网络与外界环境连接起来；第二层是网络中仅有的一个隐层，它的作用是从输入空间到隐层空间之间进行非线性变换，在大多数情况下，隐层空间有较高的维数；输出层是线性的，它为作用于输入层的激活模式提供响应。

RBF网络是一种局部逼近网络，现已证明它能以任意精度逼近任一连续函数。

​1.RBF结构及工作原理

1.1 径向基神经网络结构及原理

此处，权值是基于最小二乘LMS计算。

1.2 RBF 网络简要算法

1.2 radbas (高斯函数)调用

1.4 RBF网络学习算法的MATLAB实现函数

2.RBF学习算法（拓展）

2.1目标函数

设有$L$组输入$/$输出样本数据 $x_p/d_p$ ,$p =1，2，…， L$。定义目标函数：

$J(t)=\frac{1}{2}\sum_{p=1}^{L} ||d_p-y_p||^2 = \frac{1}{2}\sum_{p=1}^{L} \sum_{k=1}^{O} (d_{kp}-y_{kp})^2$

其中，$O$是输出层的输出维数。

学习的目的是使$J≤ε$;$d_p$是在 $x_p$ 输入下网络的输出向量。 RBF 网络的学习算法一般包括两个不同的阶段:隐层径向基函数的中心的确定阶段和径向基函数权值学习调整阶段。

2.2隐层径向基函数中心的确定阶段

常见方法有随机选取固定中心法；中心的自组织选择法等。

此处介绍中心的自组织选择法。

中心的自组织选择算法是一种无导师学习也称为非监督学习，是对所有样本的输入进行聚类，求得各隐层节点的 RBF的中心$c_i$。这里介绍常用 K-均值聚类算法。

2.2.1 K-均值聚类算法步骤

1.初始化：给定各隐节点的初始值$c_i(0)$

2.相似匹配：计算距离（欧氏空间），并求取最小距离的节点：

$d_i(t)=||x(t)-c_i(t-1)||,1\le i \le h\;，h$为隐含层神经元个数。

$d_{min}(t)=min\:d_i(t)=d_r(t)$

3.调整中心： 

$c_i(t)=c_i(t-1)\; , \; 1\le i\le h,i\neq r$               

$c_i(t)=c_i(t-1)+\beta(x(t)-c_r(t-1))\; , \; i= r$

其中，$\beta$是学习速率，$0\le \beta\le 1$。

4，继续：将t值加1，回到第二步，重复上述过程，直到中心$c_r$的改变量很小时为止。

​2.3径向基函数权值学习调整阶段

常见方法有权值的监督选择法；正则化严格插值法等。

此处介绍权值的监督选择法。

监督选择法是一种有导师学习也称为监督学习算法。径向基函数的中心以及网络的所有其他参数都将经历一个监督学习的过程。换句话说， RBF 网络将采用最一般的方式，这个方法的自然后选是采用误差修正学习过程，它可以很方便地使用梯度下降法。当$c_i$确定后，训练由隐层至输出层之间权值，它是一个线性方程组，则求权值就成为线性优化问题，如NLMS算法、最小二乘递推法等求得。

2.3.1 NLMS 算法步骤

对于RBF网络，权值调整算法：

$w_{ki}(t+1)=w_{ki}(t)+\alpha\frac{e_k(t)q_{ip}}{||q_p||^2}$

其中，α是常值，0<α<2。当J≤ε时，算法结束。

2.3.2 最小二乘递推法RLS算法步骤

为简单起见，讨论单输出的情况。

定义目标函数：

$J(t)=\frac{1}{2}\sum_{p=1}^{L} E_p(t) = \frac{1}{2}\sum_{p=1}^{L} \Lambda (p) (d_p-y_p)^2$

其中，$\Lambda (p)$是加权因子。若第$p$个样本比第$p-k\;(p>k,K>1)$个可靠，则加权因子

要大，可取：

$\Lambda (p)=\lambda ^{L-p}$,$0\le \lambda\le 1$,$p=1,2,...,L$

其中，$L$是样本长度。

使J值最小的W即为所求的权值，因此，由

$\frac{\partial J(t)}{\partial W}=0$

可得最小二乘递推算法（ RLS）：

------------NED------------