基于相关向量机RVM的分类算法

基于相关向量机RVM的分类算法

文章目录

• 基于相关向量机RVM的分类算法

• 1.RVM原理
• 2.算法实验与结果
• 3.参考文献：
• 4.MATLAB代码

摘要：本文主要介绍相关向量机RVM的基本原理，以及在分类问题中的应用。

1.RVM原理

RVM算法是一种基于贝叶斯框架的机器学习模型 ，通过最大化边际似然得到相关向量和权重。

设$\{x\}_{u=1}^N$和$\{t\}_{u=1}^N$分别是输入向量和输出向量，目标$t$可采用如式(1)所示的回归模型获得:
$t =y(x)+\xi_n \tag{1}$
式中: $\xi_n$为零均值、方差 $σ^2$的噪声，$y(x)$ 定义为:
$y(x)=\sum_{u=1}^Nw_uK(x,x_u)+w_0 \tag{2}$
式中: $K(x,x_u)$ 是核函数，$w_u$ 是权重向量，$w_0$是偏差。设$t$是独立的，其概率定义为:
$p(t|w,\sigma^2)=(2\pi\sigma^2)^{-N/2}exp(-\frac{||t-w\varphi||^2}{2\sigma^2})\tag{3}$
式中：$t=(t_1,t_2,...,t_N)^T,w=(w_0,w_1,...,w_n)^T$,$\varphi$是$N(N+1)$的矩阵。

式(3)中的 $w$ 和 $σ$最大似然估计会导致过拟合，为约束参数，定义一个零均值高斯先验概率分布:
$p(w|\alpha)=\prod_{u=0}^NN(w_u|0,\alpha_u^{-1})\tag{4}$
式中: $α$ 是 $N +1$

依据贝叶斯公式，未知参数的后验概率为:
$p(w,\alpha,\sigma^2|t)=p(w|\alpha,\sigma^2,t)p(\alpha,\sigma^2|t)\tag{5}$
后验分布的权重被描述为:
$p(w|t,\alpha,\sigma^2)=(2\pi)^{-(N+1)/2}|\Sigma|^{-1/N}exp(-\frac{1}{2}(w-u)^T\Sigma ^{-1}(w-u))\tag{6}$
式中:后验均值$u=\sigma^{-2}\Sigma\varphi^Tt$,协方差$\Sigma=(\sigma^{-2}\varphi^T\varphi+A)^{-1}$,$A=diag(\alpha_0,\alpha_1,...,\alpha_N)$。

为了实现统一的超参数，做出如下定义:

高斯径向基函数具有较强的非线性处理能力，被用作核函数，其定义如下:

式中: $γ$

2.算法实验与结果

本文算法数据数量一共为250组数据，2个类别数据。其中前200组数据用训练，后50组数据用作测试数据。数据的输入维度为11维。

数据类别	数据量
训练数据	200
测试数据	50

设置RVM的核函数为高斯径向基函数，核宽度为3。得到的结果如下图所示：

训练集准确率：0.955
测试集准确率：0.84314

从结果来看，RVM在二分分类问题上表现还可以。

3.参考文献：

[1] TIPPPING M E． Sparse Bayesian learning and the relevance vector machine［J］． The journal of machine learning research，2001，1: 211-244．

4.MATLAB代码