支撑向量回归 支持向量机回归方程

优化目标

与逻辑回归和神经网络相比，支持向量机，或者简称 SVM，在学习复杂的非线性方程时提供了一种更为清晰、更加强大的方式。

回顾一下逻辑回归的相关概念，看如何进行改动可以得到支持向量机。逻辑回归的假设函数为 $h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$，对应的图像如下：

Logistic 回归中的代价函数：

$J(\theta)=-\frac1m\left[\sum_{i=1}^my^{(i)}logh_\theta(x^{(i)})+\left(1-y^{(i)}\right)log\left(1-h_\theta(x^{(i)})\right)\right]+\frac{λ}{2m}\sum_{j=1}^n\theta_j^2$

其中的 $Cost$ 函数:

$Cost(\theta)=-ylog\frac{1}{1+e^{-\theta^Tx}}-(1-y)log(1-\frac{1}{1+e^{-\theta^Tx}})$

SVM 中的代价函数图像：

当 $z$ 即 $\theta^Tx$ 改变时，在某一区域其对应的值会变得非常小，对整个代价函数而言影响也非常小。在图中，取 $z$

对于两个图，把左图中斜线段的函数改为 $Cost_1$，右图中斜线段的函数改为 $Cost_0$。

相应代价函数变成：
$J(\theta)=\frac1m\left[\sum_{i=1}^my^{(i)}Cost_1\left(\theta^Tx^{(i)}\right)+\left(1-y^{(i)}\right)Cost_0\left(\theta^Tx^{(i)}\right)\right]+\frac{λ}{2m}\sum_{j=1}^n\theta_j^2$
用参数 $C$ 替代 $λ$，相当于 $C=\frac{1}{λ}$

构建的支持向量机：
$\min_{\theta}C\sum_{i=1}^m\left[y^{(i)}Cost_1\left(\theta^Tx^{(i)}\right)+\left(1-y^{(i)}\right)Cost_0\left(\theta^Tx^{(i)}\right)\right]+\frac{1}{2}\sum_{j=1}^n\theta_j^2$
与逻辑回归不同的是，支持向量机并不会输出概率，相对的得到的是通过优化这个代价函数得到一个参数 $\theta$，支持向量机所做的是直接进行一个预测，预测 $y$ 是等于1还是等于0。
$h_\theta(x)=\begin{cases} 1 & \theta^Tx\geq1 \\ 0 &其它情况 \end{cases}$

---

直观上对大间距的理解

有时将支持向量机看作是大间距分类器，本节将介绍其中的含义，这有助于我们直观理解 SVM 模型的假设。

当 $C$ 非常大，最小化代价函数的时候，我们将会很希望找到一个使第一项为0的最优解。因此，让我们尝试在代价项的第一项为0的情形下理解该优化问题。比如我们可以把 $C$

前面一项近似为 0 后，得到 $\min_\theta\frac{1}{2}\sum_{j=1}^n\theta_j^2$：
$\begin{aligned} 当y^{(i)}=1 && \theta^Tx\geq+1 \\ 当y^{(i)}=0 && \theta^Tx\leq-1 \end{aligned}$
这是一个条件极值问题

对于下面的这个例子，有不止一条直线可以把正负样本划分开，但是相比来说，黑色的分界线要好很多，它是更稳健的决策边界。

从数学来说，这条黑色的决策边界拥有更大的距离，叫做边距，这个边距也叫做支持向量机的间距，这会使支持向量机具有鲁棒性。因此，支持向量机有时被称为大间距分类器。对于下面这个训练集，加入一个额外的正样本后：

如果把 $C$

如果数据不是线性可分的，如果在这里有一些正样本或者有一些负样本，则支持向量机也会将它们恰当分开。因此，大间距分类器的描述，仅仅是从直观上给出了正则化参数 $C$ 非常大的情形。当 $C$

---

大间距分类器的数学原理

计算向量内积：

先前的目标函数：

$\min_\theta\frac{1}{2}\sum_{j=1}^n\theta_j^2 \\ \begin{aligned} 当y^{(i)}=1 && \theta^Tx\geq+1 \\ 当y^{(i)}=0 && \theta^Tx\leq-1 \end{aligned}$

做一点简化，为了让目标函数更容易被分析：

这样通过内积计算的方式：

$\theta^Tx=p^{(i)}.||\theta||=\theta_1x_1^{(i)}+\theta_2x_2^{(i)}$

目标函数可以被取代为：

$\min_\theta\frac{1}{2}\sum_{j=1}^n\theta_j^2=\frac12||\theta||^2 \\ \begin{aligned} 当y^{(i)}=1 && p^{(i)}.||\theta||\geq+1 \\ 当y^{(i)}=0 && p^{(i)}.||\theta||\leq-1 \end{aligned}$

比如对于一个训练样本，得出下面这样的决策界：

$\theta_0=0$

参数向量 $\theta$ 事实上是和决策界是90度正交的，因此这个绿色的决策界对应着一个参数向量 $\theta$。

考察这个样本到参数 $\theta$ 的投影，$x^{(1)}$的投影是图中短的红色线段，等于 $p^{(1)}$，非常短。$x^{(2)}$的投影是图中短的粉色线段，等于 $p^{(2)}$，也非常短。

因此当考察优化目标函数的时候，对于正样本而言，需要正样本 $p^{(i)}.||\theta||\geq+1$ 或者负样本 $p^{(i)}.||\theta||\leq+1$，但是如果$p^{(i)}$ 在这里非常小，那就意味着我们需要 $\theta$ 的范数非常大。但是需要找到目标函数的一个参数 $\theta$，它的范数是比较小的。因此，这看起来不像是一个好的参数向量 $\theta$

另一种情况的决策界：

在这个决策界下，$p^{(1)}$ 和 $p^{(2)}$ 都比较大，这样 $\theta$

因此，如果想令 $\theta$ 的范数变小，从而令 $\theta$

---

核函数

• $I$

用多项式解决非线性拟合问题：

$h_\theta(x)=\begin{cases} 1, & \text {如果 $\theta_0+\theta_1x_1+\theta_2x_2+\dots\geq0$} \\ 0, & \text{其它情况} \end{cases}$通过引入核函数来解决这个问题，假设函数：

$h_\theta(x)=\theta_0+\theta_1f_1+\theta_2f_2+\dots$

用一系列的新的特征f来替换模型中的每一项，例如令：

$f_1=x_1，f_2=x_2，f_3=x_2x_3，f_4=x_1^2，\dots$

给定一个训练样本 $x$，我们利用的各个特征与我们预先选定的地标 $l^{(1)},l^{(2)},l^{(3)}$ 的近似程度来选取新的特征 $f_1,f_2,f_3$。

新特征，例如：

上述公式中的相似度函数（similarity）用数学术语来说就是一个核函数 ，这里的核函数实际上是高斯核函数，即exp。

$\sigma^2$ 是高斯核函数的参数，通过下面的图我们可以看出对函数图形的改变：

图中水平面的坐标为 $x_1,x_2$，而垂直坐标轴代表 $f$。可以看出，只有当 $x$ 与 $l^{(i)}$ 重合时才具有最大值。随着 $x$ 的改变，$f$

• $Ⅱ$

关于标记点，在实际问题中，我们应该怎么选取。

通常情况下是根据训练集的数量选择地标的数量，即如果训练集中有 $m$ 个样本，则选取 $m$ 个地标，并且令：$l^{(1)}=x^{(1)}，l^{(2)}=x^{(2)}，\dots，l^{(m)}=x^{(m)}$。这样做的好处在于：得到的新特征是建立在原有特征与训练集中所有其他特征之间距离的基础之上的，即：

下面将核函数运用到支持向量机中，修改支持向量机假设为：

给定 $x$，计算新特性 $f$，当 $\theta^Tf\geq0$ 时，预测 $y=1$，否则反之。

相应地修改代价函数为：$\sum_{j=1}^{n=m}\theta_j^2=\theta^T\theta$

在具体实施过程中，我们还需要对最后的正则化项进行些微调整，在计算 $\sum_{j=1}^{n=m}\theta_j^2=\theta^T\theta$ 时，用 $\theta^TM\theta$ 代替 $\theta^T\theta$，其中 $M$

另外，支持向量机也可以不使用核函数，不使用核函数又称为线性核函数，当不采用非常复杂的函数，或者训练集特征非常多而样本非常少的时候，可以采用这种不带核函数的支持向量机。

下面是支持向量机的两个参数 $C$ 和 $\sigma$的影响：

$C = \frac{1}{λ}$

$C$ 较大时，相当于 $λ$

$C$ 较小时，相当于 $λ$

$\sigma$

$\sigma$

---

使用 SVM

一般使用 SVM 的软件包（例如：liblinear,libsvm…）来解决参数问题。

需要做的事：

是提出参数 $C$

选择内核参数或你想要使用的相似函数，其中一个选择是：选择不需要任何内核参数，没有内核参数的理念，也叫线性核函数。因此，如果有人说他使用了线性核的SVM（支持向量机），这就意味这他使用了不带有核函数的SVM（支持向量机）。

多类别分类问题：

许多SVM的包已经内置了多分类的函数，因此，如果面对一个类似这样的模式，只是使用这些内置函数，会取得不错的效果。

除此之外，一个多分类的方法是使用one-vs-all的方法，要做的是训练 K 个SVM，如果有 K 个类别，用以将每个类别从其他类中区分开来，这会给你K参数的向量，这会尝试从其他所有类别中识别出 y=1 的类别。

使用准则：

$n$ 为特征数，$m$

如果相较于 $m$ 而言，$n$

如果 $n$ 较小，而且 $m$

如果 $n$ 较小，而 $m$