【控制】基于RBF径向基神经网络的自适应控制（2）

1.基于RBF网络逼近的自适应控制

1.1 问题描述

简单的运动系统动力学方程为：

$\ddot \theta = f(\theta,\dot \theta) + u$       (1)

其中，$\theta$:角度，$u$：控制输入。

令$x_1=\theta$,$x_2=\dot\theta$,则状态方程形式为：

$\dot x_1=x_2$                

$\dot x_2=f(x)+u$    (2)

其中，$f(x)$为未知非线性函数。

假定位置指令:$x_d$，则误差及其变化率：

$e=x_1-x_d$                    

$\dot e =\dot x_1 - \dot x_d = x_2 - \dot x_d$    

定义误差函数（形似滑模面）：

$s=ce+\dot e$,$c>0$    (3)

则

$\dot s=c\dot e+\ddot e$

       $=c \dot e + \dot x_2 - \ddot x_d$

 $=c \dot e + f(x)+u - \ddot x_d$    (4)

由式（3）可知，如果$s→0$，则有$e→0$，且$\dot e→0$。

若对滑模控制有了解的，可以发现上述误差函数 (3) 的形式与滑模控制中的滑模面类似，可以看一下文章【控制】滑模控制，滑模面的选择。这里还有滑模的解决方案，也就是趋近律的选择。

借助趋近律$\dot s= -\eta\; sign(s)$,其中$\eta >0$，那么基于上式（4）可以得到：

$\dot s=c \dot e + f(x)+u - \ddot x_d = -\eta \:sign(s)$

                    $u=-c \dot e - f(x)+ \ddot x_d-\eta\: sign(s)$                 (5)

式（5）包含了未知非线性函数$f(x)$的系统控制器。

但$f(x)$往往是未知的，没有一个具体的显式表达式，而这个控制器并不能让系统达到期望输入，根本原因就是$f(x)$的存在影响了系统。

1.2 验证没有未知干扰项的控制器

为了方便理解，先验证一下没有未知项$f(x)$干扰时的控制器。

也就是将模型式 (2) 简化为：

   $\dot x_1=x_2$

         $\dot x_2=u$                         （6）

将控制器式（5）简化为： 

$u=-c \dot e + \ddot x_d-\eta\: sign(s)$  （7）

系统初始状态：$x_1(0)=2$，$x_2(0)=0.2$。

期望状态：$x_d=sin(t),\dot x_d=cos(t),\ddot x_d=-sin(t)$。参数假设为$c=1,\eta =0.5$。

虽然我们把未知干扰项$f(x)$简化掉了，但在这里还是给出了一个$f(x)=10x_1x_2$。画画图看看效果。

• ​首先是没有未知干扰项$f(x)$的仿真结果，如下图所示。

• 紧接着给出有未知干扰项$f(x)$的仿真结果。

• 最后再把程序给出。

clear
clc

%%
% states初始状态
x_1(:,1) = 2;
x_2(:,1) = 0.2;

fx(:,1) = 10 * x_1(:,1) * x_2(:,1);

% Control inputs控制输入初态
u(:,1) = 0;

% Desired 期望
x_d(:,1) = sin(0);
ddot_x_d(:,1) = cos(0);
dot_x_d(:,1) = -sin(0);

% Parameters参数
c = 1;
eta = 0.5;

%% Time state时间t
t(1,1) = 0;
tBegin = 0;
tFinal = 20;
dT = 0.05;
times = (tFinal-tBegin)/dT;

% Iterations 迭代
for i=1:times
    % Record time记录时间
    t(:,i+1) = t(:,i) + dT;
    
    % error误差
    x_d(:,i+1) = sin(t(:,i+1));
    e = x_1(:,i) - x_d(:,i+1);
    
    dot_x_d(:,i+1) = cos(t(:,i+1));
    dot_e = x_2(:,i) - dot_x_d(:,i+1);
    
    s = c*e + dot_e;
    
    % control input控制输入
    ddot_x_d(:,i+1) = -sin(t(:,i+1));
    u(:,i+1) = -c*dot_e + ddot_x_d(:,i+1) - eta * sign(s);
    
    % update states更新状态
    x_2(:,i+1) = x_2(:,i) + dT * ( 0*fx(:,i)+u(:,i+1) );
    x_1(:,i+1) = x_1(:,i) + dT * x_2(:,i+1);
    
    % update unknown更新未知非线性函数
    fx(:,i+1) = 10 * x_1(:,i+1) * x_2(:,i+1);
end

%% Plot results 可视化结果
figure(1)
subplot(2,1,1)
plot(t,x_1, t,x_d, 'linewidth',1.5); %x_1实际输出与期望输出
hold on
legend('$x_{1}$', '$x_{d}$', 'interpreter','latex');
grid on

subplot(2,1,2)
plot(t,x_2, t,dot_x_d, 'linewidth',1.5); %x_2实际输出与期望输出
hold on
legend('$x_{2}$', '$\dot{x}_{d}$', 'interpreter', 'latex');
grid on

figure(2)
subplot(2,1,1)
plot(t,u, 'linewidth',1.5); %控制输入
hold on
legend('$u$', 'interpreter','latex');
grid on

subplot(2,1,2)
plot(t,fx, 'linewidth',1.5); %未知函数
hold on
legend('$f(x)$', 'interpreter','latex');
grid on

1.3 RBF网络原理

对比上述结果也可以看到，未知干扰项$f(x)$对系统影响特别大。这时候就需要 RBF 来发挥作用了。

由于RBF网络具有万能逼近特性，采用RBF神经网络逼近$f(x)$，网络算法为：

$h_j=exp(-\frac {||x-c_j||^2}{2b_j^2})$        (8)

$f(x)=W^{*T}h(x)+\varepsilon$           (9)

其中，$x$为网络的输入，$j$为网络隐含层第$j$个节点，$h=[h_j]^T$为网络的高斯基函数输出，$W^∗$为网络的理想权值，$\varepsilon$为网络的逼近误差，$ε ≤ ε_N$。

这里我们使用系统的状态$x_1,x_2$作为神经网络的输入，那么输入节点就为2。隐含层节点暂定为 5。输出层因为是对未知函数$f(x)$的估计，因此输出节点为1。

由式 (2)，网络输入取状态变量$x=[x_1,x_2]^T$，则网络输出为：

$\hat f(x)=\hat W^Th(x)$          (10)

未知函数$f(x)$的误差为：

$f(x)-\hat f(x)=W^{*T}h(x)+\varepsilon - \hat W^Th(x)$=$\widetilde{W}^T h(x)+\varepsilon$      （11）

接下来的任务就很清晰了，就是想办法让误差减少，这也等价于优化实际的权重$\hat W$，让其无限逼近理想权重值$W^*$。

1.4 RBF控制算法的设计与分析

更新 RBF 网络的权重值，这里介绍两种方法，分别是梯度下降法和稳定性理论设计法。

1.4.1 梯度下降法

由于使用梯度下降法来更新权重的资料很多，这里不再赘述。

1.4.2 稳定性理论设计法

介绍基于 Lyapunov 稳定性理论的设计法。

定义Lyapunov函数为：

$V=\frac{1}{2}s^2+\frac{1}{2\gamma}\widetilde W^T\widetilde W$   （12）

其中，$\gamma>0$,$\widetilde W = \hat W - W^*$。则

$\dot V=s\dot s+\frac{1}{\gamma}\widetilde W^T (\dot {\hat W} - \dot W^*)$

$=s\dot s+\frac{1}{\gamma}\widetilde W^T \dot{ \hat W}$

$=s(c \dot e + f(x)+u - \ddot x_d )+\frac{1}{\gamma}\widetilde W^T\dot {\hat W}$              （13）

设计控制律为：

                         $u=-c \dot e - \hat f(x) + \ddot x_d - \eta sign(s)$                   （14）

则

$\dot V=s(c \dot e + f(x)+-c \dot e - \hat f(x) + \ddot x_d - \eta sign(s) - \ddot x_d )+\frac{1}{\gamma}\widetilde W^T\dot {\hat W}$

$=s(f(x) - \hat f(x) - \eta sign(s) )+\frac{1}{\gamma}\widetilde W^T\dot {\hat W}$

$=s(\widetilde{W}^T h(x)+\varepsilon - \eta sign(s) )+\frac{1}{\gamma}\widetilde W^T\dot {\hat W}$

$=s\varepsilon-s\eta sign(s)-s\widetilde W^Th(x)+\frac{1}{\gamma}\widetilde W^T\dot {\hat W}$

$=s\varepsilon-s\eta sign(s)+\widetilde W^T(\frac{1}{\gamma}\dot {\hat W}-sh(x))$                         （15）

取自适应律为：

                        $\dot {\hat W}=\gamma sh(x)$                      （16）

则

$\dot V = s\varepsilon -s\eta sign(s)+\widetilde W^T(\frac{1}{\gamma}\dot {\hat W}-sh(x))$

$= s\varepsilon -\eta |s|$

再令$η$>$|\varepsilon|_{max}$,则有$\dot V= s\varepsilon -\eta |s| <0$。

1.4 验证含有未知干扰项和RBF的控制器

考虑如下被控对象：

$\dot x_1=x_2$

$\dot x_2=f(x)+u$

其中，$f(x)=10x_1x_2$。

控制律采用式（14），自适应律采用式（16）。

RBF 网络采用2-5-1的神经网络结构。

参数取$\gamma=500$, $\eta=0.5$。根据网络的输入$x_1$和$x_2$的实际范围,高斯基函数的参数$c_i$和$b_i$的值分别为$\left[\begin{array}{cc|r} -2&-1&0&1&2 \\ -2&-1&0&1&2 \end{array}\right]$和0.3。网络权值矩阵中各个元素的初始值取$0.10$。

• 仿真结果

注：谈一点自己再调试程序时的感受。 一开始各种振荡，而且效果特别不好。然后就是不停的调参数，但是一直不理想。

后来转变了一下思路，因为控制器振荡这个是滑模控制中趋近律的问题，这一点可以通过 3.2 控制器效果看出来，很振荡。

所以，我紧接着就回退了一步，想着要不先把控制器中的振荡问题解决掉吧，采用的解决方案就是修改符号函数$sign(s)$ 改成饱和函数$sat(s)$，然后程序就好了结果很完美。于是，我就又想着再把饱和函数改回到符号函数，结果效果还是很好。现在想回去之前的振荡效果都回不去了，就很迷茫😂。这个疑惑🤔先留待着吧，把程序放出来。

• 程序

%%主函数
clear
clc

%%初始状态
% states
x_1(:,1) = 2;
x_2(:,1) = 0.2;

fx(:,1) = 10 * x_1(:,1) * x_2(:,1);

% Control inputs控制输入初态
u(:,1) = 0;

% Desired 
x_d(:,1) = sin(0);
ddot_x_d(:,1) = cos(0);
dot_x_d(:,1) = -sin(0);

% Parameters参数
c = 1;
eta = 0.5;

% RBF神经网络参数
InpLayNum = 2;
HidLayNum = 5;
OutLayNum = 1;
gamma = 500;
eta = 0.5;
c_i = [-2 -1  0  1  1
       -2 -1  0  1  1];
b_i = 3;
hat_W = 0.1*ones(HidLayNum, OutLayNum);

%% Time state时间t
t(1,1) = 0;
tBegin = 0;
tFinal = 20;
dT = 0.01;
times = (tFinal-tBegin)/dT;

 % Iterations迭代
for i=1:times
    % Record time 记录时间
    t(:,i+1) = t(:,i) + dT;
    
    % error误差
    x_d(:,i+1) = sin(t(:,i+1));
    e = x_1(:,i) - x_d(:,i+1);
    
    dot_x_d(:,i+1) = cos(t(:,i+1));
    dot_e = x_2(:,i) - dot_x_d(:,i+1);
    
    s = c*e + dot_e;
    
    % RBF
    % calculate Gaussian basis function 计算高斯基函数
    for j = 1:HidLayNum
        h(j,:) = exp( -norm([x_1(:,i); x_2(:,i)]-c_i(:,j))^2/(2*b_i^2) );
    end
    
    hat_fx(:,i+1) = hat_W' * h;
    
    % adaptive law自适应律
    hat_W = hat_W + dT * (gamma * s * h);
    
    % control input控制输入
    ddot_x_d(:,i+1) = -sin(t(:,i+1));
    u(:,i+1) = -c*dot_e + ddot_x_d(:,i+1) - eta * sign(s) - hat_fx(:,i+1);
    
    % update states更新状态
    x_2(:,i+1) = x_2(:,i) + dT * ( fx(:,i)+u(:,i+1) );
    x_1(:,i+1) = x_1(:,i) + dT * x_2(:,i+1);
    
    % update unknown更新未知非线性函数
    fx(:,i+1) = 10 * x_1(:,i+1) * x_2(:,i+1);
end

%% Plot results可视化
figure(1)
subplot(2,1,1)
plot(t,x_1, t,x_d, 'linewidth',1.5);
legend('$x_{1}$', '$x_{d}$', 'interpreter','latex');
grid on

subplot(2,1,2)
plot(t,x_2, t,dot_x_d, 'linewidth',1.5);
legend('$x_{2}$', '$\dot{x}_{d}$', 'interpreter', 'latex');
grid on

figure(2)
subplot(2,1,1)
plot(t,u, 'linewidth',1.5);
legend('$u$', 'interpreter','latex');
grid on

subplot(2,1,2)
plot(t,fx, t,hat_fx,'k:', 'linewidth',1.5);
legend('$f(x)$', '$\hat{f}(x)$', 'interpreter','latex');
grid on

%%饱和函数_子函数
function out = sat(s)
    out = sign(s) * min(10,abs(s));
end

2.RBF神经网络及其在控制中的应用简介

RBF神经网络在控制中的应用，可以按其隐含层与输出层连接权值的计算方式分为以下两类：梯度下降法计算权值和稳定性理论设计权值。

2.1 梯度下降法计算权值

暂不做分析。

2.2 稳定性理论设计权值

依据稳定性理论设计权值，即通过分析系统的Lyapunov稳定性，设计权值，从而保证系统的稳定性和收敛性。

考虑如下二阶非线性系统，以自适应RBF控制器的设计为例，对该权值设计方式进行简要介绍。

$\ddot x = f(x,\dot x)+g(x,\dot x)u$

其中，$f$为未知非线性函数；$g$为已知非线性函数；$u\in R^n$和$y\in R^n$分别为系统的控制输入和输出。

令$x_1=x\:,\:x_2=\dot x$,则上式可以改写为：

$\dot x_1 =x_2$

$\dot x_2=f(x_1,x_2)+g(x_1,x_2)u$

$y=x_1$

设理想跟踪指令为$y_d$,则误差为：

$e=y_d-y=y_d-x_1$,$E=[e,\dot e]^T$

设计$K=[k_p,k_d]^T$,使得多项式$s^3+k_ds^2+k_p=0$的根都在左半平面。

将RBF神经网络的输出代替成二阶非线性系统中的未知函数，可设计控制律为：

$u=\frac{1}{g(x)}[-\hat f(x) +\ddot y_d +K^TE]$

其中$\hat f(x)=\hat W^Th(x)$，$h(x)$为径向基函数，$\hat W$为理想权值$W^*$的估计。权值估计误差$\widetilde W = \hat W - W^*$。

通过分析系统的稳定性，可以设计权值（即自适应律）计算方法为：

$\dot {\hat W } = -\gamma E^TPBh(x)$

其中，$B=[0 1]^T$，矩阵$P$为对称正定的矩阵且满足如下Lyapunov方程：

$\Lambda ^T P+P\Lambda = -Q$

其中，$Q>0$,$\Lambda= \left[\begin{array}{cc|r} 0&1 \\ -k_p&k_d \end{array}\right]$，$\gamma>0$。

则可通过设计RBF神经网络使逼近误差足够小，从而保证系统的稳定，证明见[1]。

在实际的控制系统设计中,为了保证网络的输人值处于高斯基函数的有效范围,应根据网络的输人值实际范围确定高斯基函数中心点坐标向量$c$值，为了保证高斯基函数的有效映射，需要将高斯基函数的宽度$\sigma$取适当的值。

依据稳定性理论设计的RBF神经网络，既可用于逼近未知参数或未知函数，又可直接作为控制器控制系统，进而又可以和鲁棒控制、滑模控制、反演控制等等理论相结合，进行控制器的设计。

目前，已经产生了基于RBF神经网络的直接鲁棒自适应控制[2]、基于RBF神经网络的滑模控制[3]、基于RBF网络的动态面自适应控制[4]、以及基于RBF观测器的自适应控制[5]等等方法，为非线性控制问题的解决提供了新的思路。

3.总结

这一小节简要介绍了RBF神经网络以及其在控制中的应用，由于RBF神经网络独特的结构，可以大大加快学习速度，并避免局部极小问题，可用于在线的辨识或控制，有着很大的发展潜力，可以进一步尝试应用于非线性系统的辨识与控制之中。

[1]刘金琨. RBF神经网络自适应控制MATLAB仿真[M]. 清华大学出版社, 2014.

[2] Ge S S , Hang C C , Zhang T . A direct method for robust adaptive nonlinear control with guaranteed transient performance[J]. Systems & Control Letters, 1999, 37(5):275-284.

[3] Guo Yi, Jinkun LIU，Neural Network Based Adaptive Dynamic Surface Control for Flight Path Angle[C]，the 51th IEEE Conference on Decision and Control, December 10- 13，2012, 5374- 5379，Maui, Hawaii, USA, 2012.

[4] Sonfack L L , Kenné, Godpromesse, Fombu A M . An improved adaptive RBF neuro-sliding mode control strategy: Application to a static synchronous series compensator controlled system[J]. International Transactions on Electrical Energy Systems, 2019.

[5] Abdollahi F, Talebi H A, Patel R V (2006) A stable neural network based observer with application to flexible joint manipulators[J]. IEEE Trans Neural Netw 17(1):118~ 129.

________________END________________