支持向量机解题

主要内容

1. 向量的内积
2. 用向量内积的性质来理解SVM
3. SVM 选择更优的决策边界的方法

一、向量的内积

1.1 内积的定义和几何意义

• 若有两个向量 u 和 v , u^Tv 叫做向量 u 和 v 之间的内积
• 几何意义： 向量得内积 等价于投影长度的乘积

1.2 欧几里长度（范数）

• 若有一个向量 u，∥u∥ 表示 u 的范数norm，即向量 u 的欧几里得长度，是一个实数
• 根据毕达哥拉斯定理得到范数的计算公式如下图：

1.3 内积的两种计算方法

• (1) u^Tv = u1 × v1 + u2 × v2 = v^Tu
• (2) 首先将 v 投影至 u 向量，记其长度为p（有正负，与u同向为正，反向为负，标量），则两向量的内积:
  u^Tv = ||u|| · ||v|| · cosθ = ||u|| · p
• 注意：如果两个向量所夹的角度大于90°，则p为负数，两个向量的内积也是负数

二、用向量内积的性质来理解SVM

• 若将C设置的很大，并使得A最小化为0，此时 SVM的代价函数就会简化成下图所示：
• 为了便于理解，我们简化一下函数表达式：令 θ0 = 0，然后只有 θ1和θ2两个参数

• **支持向量机做的事情就是：**极小化参数向量范数的平方，或者说是长度的平方

• 根据内积的计算公式，有 θ^Tx = p · ||θ||，其中 p 是 x 在 θ 上的投影。 使用p^(i) ⋅ ∥θ∥ 代替之前约束中的 θ^Tx(i)

三、SVM 选择更优的决策边界的方法

• 我们假设决策边界如上面左图的绿线，可以知道参数向量 θ 与边界垂直（证明过程可以看我的另一篇博文）
• 发现对于每一个样本x(1)和x(2)，它们在θ上的投影长度都很小，那么为了满足条件p(i)·||θ|| ≥1或者p(i)·||θ||≤-1，则||θ||就要取很大的值，这与之前最小化代价函数（1/2||θ||2）相矛盾；
• 支持向量机试图让p(i)(训练样本到决策边界的距离)变得足够大，从而让θ的范数变小（如采用上面右图的决策边界——绿线），最小化代价函数；
  这就是SVM如何产生大间距分类现象 的；
• 简化时让θ0 = 0的意思是我们让决策界通过原点。 如果θ0 ≠ 0，决策边界不过原点 ，SVM 产生大间距分类器的结论同样成立（在 C 特别大的情况下）。