支持向量机Spambase垃圾邮件数据集

文章目录

• 线性可分支持向量机（硬间隔）
• 线性不可分支持向量机（软间隔）
• 非线性支持向量机与核函数

支持向量机和感知机的差别仅在与损失函数不同而已（有间隔最大的要求）。它也是一种二分类模型。

数据点就叫支撑向量。当数据线性可分时，就使得所有点到直线距离最大化的直线，让直线变成

唯一的。两个支撑超平面H之间没有数据点，两个支撑超平面之间的距离称为

硬间隔（不允许有数据点出现在支撑超平面之间），也有

软间隔（允许点出现在支撑超平面之间，如果点出现在分离超平面另一边也就是错分类，需要加个惩罚）。支撑超平面确定了分离超平面。上图中，支持向量机的目标就是令

硬间隔最大，也就是令点到分离超平面的

几何距离最大（这里不能用

函数距离，只有给定超平面比较不同点到同一个超平面的距离时才能用函数距离）。支持向量机要做的事情，从数学上表述就是：令距离分离超平面最小的点到超平面的距离最大化。就是说最大化那个最近点的几何距离，而其他点的几何距离都必须比这个点要大。

线性可分支持向量机（硬间隔）

$\begin{aligned} &\max _{\boldsymbol{w}, \boldsymbol{b}} \boldsymbol{\gamma}\\ &\text { s.t. } \quad y_{i}\left(\frac{w}{\|w\|} \cdot x_{i}+\frac{b}{\|w\|}\right) \geqslant \gamma, \quad i=1,2, \cdots, N \end{aligned}$
这里标签$y_i$为正负1，$\gamma$是几何距离。极小极大化，一下子就可以想到拉格朗日对偶性来解决问题。先对上式转变一下，处理成如下形式（这里省略$\gamma=\frac{\hat \gamma}{||w||}$，$\hat \gamma$为函数距离，其取值并不影响最优化问题的解）
$\begin{array}{ll} \min _{w, b} & \frac{1}{2}\|w\|^{2} \\ \text { s.t. } & y_{i}\left(w \cdot x_{i}+b\right)-1 \geqslant 0, \quad i=1,2, \cdots, N \end{array}$
通过上式来确定w和b，如何确定？就用到了拉格朗日对偶性。先定义拉格朗日函数
$L(w, b, \alpha)=\frac{1}{2}\|w\|^{2}-\sum_{i=1}^{N} \alpha_{i} y_{i}\left(w \cdot x_{i}+b\right)+\sum_{i=1}^{N} \alpha_{i}$
这里的拉格朗日乘子$\alpha_i \geqslant 0$。于是求极大极小问题
$\max _{\alpha} \min _{w, b} L(w, b, \alpha)$
（1）先求min，分别对w和b求偏导数并令其为0，得到
$w=\sum_{i=1}^{N} \alpha_{i} y_{i} x_{i}$

$\sum_{i=1}^{N} \alpha_{i} y_{i}=0$

然后将上面两个式子代入拉格朗日函数

$\begin{aligned} L(w, b, \alpha) &=\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)-\sum_{i=1}^{N} \alpha_{i} y_{i}\left(\left(\sum_{j=1}^{N} \alpha_{j} y_{j} x_{j}\right) \cdot x_{i}+b\right)+\sum_{i=1}^{N} \alpha_{i} \\ &=-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)+\sum_{i=1}^{N} \alpha_{i} \end{aligned}$

所以

$\min _{w, b} L(w, b, \alpha)=-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)+\sum_{i=1}^{N} \alpha_{i}$

再来求上面表达式的max，最终就得到下面的问题

$\begin{aligned} \min _{\alpha} & \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)-\sum_{i=1}^{N} \alpha_{i} \\ \text { s.t. } & \sum_{i=1}^{N} \alpha_{i} y_{i}=0 \\ & \alpha_{i} \geqslant 0, \quad i=1,2, \cdots, N \end{aligned}$

这样就可以求解出一组$\alpha_i^{*}$，于是可以通过$\alpha_i^{*}$得到最优化问题的解，也就是那条分隔超平面的两个参数

$\begin{array}{c} w^{*}=\sum_{i=1}^{N} \alpha_{i}^{*} y_{i} x_{i} \\ b^{*}=y_{j}-\sum_{i=1}^{N} \alpha_{i}^{*} y_{i}\left(x_{i} \cdot x_{j}\right) \end{array}$

所以分隔超平面的表达式为

$\sum_{i=1}^{N} \alpha_{i}^{*} y_{i}\left(x \cdot x_{i}\right)+b^{*}=0$

整个过程在《统计学习方法》中描述如下

线性不可分支持向量机（软间隔）

和硬间隔相比，引入一个松弛变量$\xi_i \geqslant 0$，表示允许有一些点可以越过支撑平面$\xi_i$的距离，但是越过就需要有惩罚系数C，于是目标函数就变为

$\frac{1}{2}\|w\|^{2}+C \sum_{i=1}^{N} \xi_{i}$

代表了只要满足上面宽松的条件，这个新的宽松模型的分类效果就还是可以接受的。

于是最优化问题就可被描述为

$\begin{aligned} &\min _{w, b, \xi} \frac{1}{2}\|w\|^{2}+C \sum_{i=1}^{N} \xi_{i}\\ &\text { s.t. } \quad y_{i}\left(w \cdot x_{i}+b\right) \geqslant 1-\xi_{i}, \quad i=1,2, \cdots, N\\ &\xi_{i} \geqslant 0, \quad i=1,2, \cdots, N \end{aligned}$

原始问题永远是极小极大，对偶问题就是极大极小。求对偶问题往往简单，先求极小，拉格朗日函数为

$L(w, b, \xi, \alpha, \mu) \equiv \frac{1}{2}\|w\|^{2}+C \sum_{i=1}^{N} \xi_{i}-\sum_{i=1}^{N} \alpha_{i}\left(y_{i}\left(w \cdot x_{i}+b\right)-1+\xi_{i}\right)-\sum_{i=1}^{N} \mu_{i} \xi_{i}$

其中，偏导为0得

$\begin{aligned} &w=\sum_{i=1}^{N} \alpha_{i} y_{i} x_{i}\\ &\sum_{i=1}^{N} \alpha_{i} y_{i}=0\\ &C-\alpha_{i}-\mu_{i}=0 \end{aligned}$

代入拉格朗日函数

$\min _{w, b, \xi} L(w, b, \xi, \alpha, \mu)=-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)+\sum_{i=1}^{N} \alpha_{i}$

于是对偶问题为

$\begin{aligned} \max _{\alpha} &-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)+\sum_{i=1}^{N} \alpha_{i} \\ \text { s.t. } & \sum_{i=1}^{N} \alpha_{i} y_{i}=0 \\ & C-\alpha_{i}-\mu_{i}=0 \\ & \alpha_{i} \geqslant 0 \\ & \mu_{i} \geqslant 0, \quad i=1,2, \cdots, N \end{aligned}$

后面三个约束统一写为

$0 \leqslant \alpha_i \leqslant C$

由此解得$\alpha$，代入求得w和b得出分隔平面。

如果$\alpha_{*}^{i}<C$，则$\xi_{i}=0$，支持向量恰好落在间隔边界上；若$\alpha_{i}^{*}=C, 0<\xi_{i}<1$，则分类正确，支持向量在间隔边界与分离超平面之间；若$\alpha_{i}^{*}=C, \xi_{i}=1$，则支持向量在分离超平面上；若$\alpha_{i}^{*}=C, \xi_{i}>1$，则支持向量位于分离超平面误分类一侧。此外，上面的最优化问题等价于优化正则的合页损失函数

非线性支持向量机与核函数

如果数据可以用一个曲面区分开，那么非线性问题就可以将输入空间通过核函数映射到特征空间。这就是非线性支持向量机与核函数的内容。如下图左映射到图右的过程。上面的其他情况都是非线性支持向量机的特殊形式。

而核函数就可以实现这一点，通过非线性变换将输入空间（欧式空间或离散集合）映射到一个特征空间（希尔伯特空间），使得输入空间中的超曲面对应特征空间中的超平面。

核技巧想法就是只定义K，不显示地定义映射函数$\phi$。对偶问题的目标函数就变成

$W(\alpha)=\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j} K\left(x_{i}, x_{j}\right)-\sum_{i=1}^{N} \alpha_{i}$

实际选择的时候往往依赖领域知识直接选择核函数，需要通过实验验证有效性。

确定核函数之后的优化问题就变成了

$\begin{array}{ll} \min _{\alpha} & \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j} K\left(x_{i}, x_{j}\right)-\sum_{i=1}^{N} \alpha_{i} \\ \text { s.t. } & \sum_{i=1}^{N} \alpha_{i} y_{i}=0 \\ & 0 \leqslant \alpha_{i} \leqslant C, \quad i=1,2, \cdots, N \end{array}$

求解这样的问题有许多的最优化算法可以用，但是当训练样本的容量很大的时候，许多算法就会变得非常低效，无法使用。目前已提出的许多快速实现的算法中，序列最小最优化算法（SMO）属于其中之一。