- 参考:
- 《统计学习方法(第二版)》第 7 章
- 白板机器学习
- 菜菜的 sklearn 课堂
-
支持向量机器(support vector machines, SVM)
可以看作之前介绍过的 经典机器学习方法(4)—— 感知机 的升级版,它们都是用于处理二分类问题的判别模型,SVM 进一步解决了感知机只能处理线性可分样本数据、结果不唯一、只能给出线性分类面等问题。SVM 方法包含从简单到复杂的一系列模型,其中简单模型是复杂模型的特殊情况;复杂模型是简单模型的推广,和感知机对比如下
模型 | 适用问题 | 数据要求 | 求解策略 | 得到分类超平面 |
感知机 | 线性二分类问题 | 线性可分 | 误分类最小化 | 线性,不唯一 |
线性可分支持向量机器 | 线性二分类问题 | 线性可分 | 硬间隔最大化 | 线性,唯一 |
线性支持向量机器 | 线性二分类问题 | 近似线性可分 | 软间隔最大化 | 线性,不唯一 |
非线性支持向量机器 | 非线性二分类问题 | 无 | 核计巧 + 软间隔最大化 | 非线性,唯一 |
- 需要注意的一点是,无论感知机还是 SVM 本质都是线性分类器,它们都是先把输入空间(欧式空间或离散集合)中的样本特征映射到特征空间(欧式空间或希尔伯特空间)中,使之成为特征空间里的一个线性二分类问题进行求解
- 上篇文章 经典机器学习方法(5)—— 线性支持向量机器 介绍了这里的前两种 SVM 模型,它们分别要求数据线性可分和近似线性可分,这时特征空间和输入空间相同
- 本文介绍最后一种非线性 SVM,其思想是先用映射函数将输入空间的非线性可分数据映射为特征空间中的线性可分数据,然后就能在特征空间直接用线性 SVM 算法进行分类了,这时特征空间和输入空间不同。特征空间通常是高维的,常用核技巧降低计算复杂度
文章目录
- 1. 核技巧
- 1.1 从 SVM 二分类模型到核函数
- 1.1.1 非线性带来高维转换
- 1.1.2 对偶问题带来内积
- 1.2 核函数
- 1.2.1 两种等价定义
- 1.2.2 核的再生性(证明等价定义)
- 1.2.3 深入分析再生核希尔伯特空间
- 1.2.4 常用核函数
- 2. 非线性支持向量机
- 3. 利用 sklearn 实现支持向量机
- 3.1 SVC 类
- 3.2 线性 SVM 分类器
- 3.2.1 处理线性可分数据
- 3.2.2 处理非线性数据
- 3.3 非线性 SVM 分类器
- 3.3.1 SVC在非线性数据上的推广
- 3.3.2 sklearn 中的核函数
- 3.3.3 对比不同的核函数
1. 核技巧
- 核技巧是统计学习中的一个常用 trick,除了非线性 SVM 外还应用于许多其他问题。
1.1 从 SVM 二分类模型到核函数
- 本节介绍 SVM 背景下,引入核技巧的两个原因:“非线性带来高维转换” & “对偶问题带来内积”
1.1.1 非线性带来高维转换
-
非线性分类问题
是指通过非线性模型
才能很好地进行分类的问题,其输入空间中的分离超平面是非线性的。比如
左图是输入空间中的原始样本和最优分离超平面,由于非线性问题不好求解,我们想通过一个非线性变换将样本和分离超平面都变换到右图所示的特征空间中,使数据线性可分。设输入空间为 - ,特征空间为
- ,为了实现上图所示的变换,可以定义非线性映射为
- 这样处理后,输入空间中的椭圆分离曲面
- 就变成了特征空间中的直线分离平面
- 核技巧应用于支持向量机,其基本想法就是通过一个非线性变换
将输入空间
(欧式空间
或离散集合)的数据映射到特征空间
(希尔伯特空间),使得在输入空间中的超曲面模型对应于特征空间中的超平面模型,这样,分类问题通过在特征空间中求解线性支持向量机就能完成
需要注意的是,特征空间通常维度很高,这里有一个
Cover定理
,可以定性地描述为:将复杂的模式分类问题非线性地投射到高维空间中,将比投射到低维空间更可能是线性可分的。把数据变化到越高维的空间,就越容易找出线性的分离超平面
1.1.2 对偶问题带来内积
- 回顾上篇文章的推导,可以发现线性 SVM 对偶问题中,无论优化目标函数
- 还是决策函数(分离超平面)
- 都只涉及输入样本特征向量之间的内积
- 如果我们按 1.1 节的思路,使用映射函数
- 将输入空间中样本的特征向量转换到特征空间中操作,就要计算大量内积
- ,由于特征空间维度可能很高(甚至是无穷维),计算高维内积的复杂度非常高,如果我们能找到一个函数
- 使得
- 满足
- 那么就能大幅减少计算高维内积的复杂度,这时的优化目标和决策函数变为
- 实际应用中,我们并不显式地找出映射函数
和对应的特征空间
来构成
,而是直接找到一个满足定义的
并按上述形式使用,这就等价于隐式地利用某个
变换到某个特征空间中
。这个技巧就称为
核技巧kernel trick
,这里的 - 称为
核函数kernel function
。注意这样隐式得到的
1.2 核函数
- 通常所说的核函数是正定核函数positive definite kernel function,以下所有 “核函数” 都是指 “正定核函数”
1.2.1 两种等价定义
-
核函数
:设 - 是输入空间(欧式空间
- 或离散集合),
- 是特征空间(希尔伯特空间),若存在从
- 到
- 的映射
- 使得对
- ,函数
- 满足
- 则称
- 为
核函数
, - 为
映射函数
对于给定的核
,特征空间
和映射函数
,那么如何判定一个给定的
是不是核函数呢,或者说函数
-
核函数(等价定义)
:设 - ,
- 是定义在
- 上的对称函数,如果对于任何
- ,
- 对应的
Gram 矩阵
- 是半正定矩阵,则称
1.2.2 核的再生性(证明等价定义)
- 有时会听到
核的再生性
、再生核希尔伯特
等概念。简单说,给定一个核函数,我们就能用一定的方法构造出它对应的一组映射函数
和希尔伯特空间
,核
在空间
中具有 “再生性”,因此这个
- 上面说的构造方法,其实就是从核函数等价定义推出原始定义的过程,本节进行简单说明。假设
- 是定义在
- 上的对称函数,且
- 关于
- 的 Gram 矩阵是半正定的
- 定义映射
并构成向量空间
:定义映射函数为
- 再对任意
- 定义线性组合
- 考虑由线性组合
- 作为元素的集合
- ,显然它对线性运算加法和数乘封闭,因此
- 是一个向量空间。另外这里
- 作为一个向量可以视作函数,所以
- 也是一个函数空间
Note:离散函数可以看做有限维向量;连续函数可以看做无限维向量
- 在
:在
- 上定义内积运算
- ,
- 定义内积运算为
- 利用 Gram 矩阵的对称性和半正定性质,易证它满足内积的四条性质
- 这样
- 就是一个合法的内积,
- 将内积空间完备化构成希尔伯特空间:首先用内积如下诱导一个范数
- 这样
- 就是一个赋范向量空间。根据泛函分析理论,对于不完备的赋范向量空间
- ,一定可以使之完备化,从而得到完备的赋范向量空间,而
- 本身又是内积空间,完备化后就升级为希尔伯特空间
- 核的再生性:根据上面内积的定义,注意到
- ,有
- 令
- ,有
- 这个性质就称为核的
再生性
,具有此性质的核称为再生核
,上面那样构造的希尔伯特空间称为
再生核希尔伯特空间
。结合映射函数 - 的定义,注意到
- 因此按照上面1-3步操作,就能从给定的核函数
找出相应的一组映射函数
和希尔伯特空间
,从而满足核函数的原始定义
1.2.3 深入分析再生核希尔伯特空间
- 这一节对于给定核函数
- 诱导的再生核希尔伯特空间
- 首先
- 是一个对称的无穷维半正定矩阵,我们仅在实空间考虑,
- 是一个实对称矩阵。先考虑一个维度为
- 的有限维的实对称矩阵
- ,根据实对称矩阵性质
- 一定有
- 个不同的特征值
- ,且对应的特征向量
- 两两正交
设
是两个不同的特征值,对应特征向量为
,利用特征值与特征向量关系
以及对称性
,有
- 这意味着
- 作为一个方阵可以相似对角化(充要条件:
- 个线性无关特征向量
- 这意味着
- 可以做特征值分解(充分条件:方阵可以相似对角化
- 方阵可以特征值分解)
- 为单位化的特征向量
- 组成的正交矩阵(
- ),
- 是特征值
注意到,当一个矩阵可以特征值分解,其特征向量构成了这个
- 接下来把核函数看做无穷维的对称半正定矩阵,它有无穷个特征值
- 和对应的无穷个特征向量(函数)
- ,这时特征值和特征向量的关系为
- 类比上面有限维矩阵的情况,对于不同的特征值
- 和对应的
- ,有
- 因此有
- ,类似也有
- 这时单位化的
成为
决定的希尔伯特空间
,
- 中的任意一个函数(无穷维向量)都可以表示为线性组合
- 这样
- 作为无穷维矩阵中的一个无穷维向量(函数),可以表示为
- 同样的有
- 这样也能证明核的再生性
1.2.4 常用核函数
- 虽然核函数的等价定义对于构造核函数很有用,但对于一个具体函数
- 来说,要检验它关于任意有限输入集
- 的 Gram 矩阵是否半正定并不容易,因此实际问题中往往直接使用已有的核函数。常用的核函数选择有
其中高斯核对应的支持向量机就是常见的高斯径向基函数(rbf)分类器
,这个核函数对应的映射函数 - 将输入空间转换为一个无穷维的特征空间,表示能力强,比较常用
2. 非线性支持向量机
- 如上所述,利用核技巧可以将线性分类的学习方法应用到非线性分类问题中,只需像 1.1.2 节那样将线性 SVM 对偶形式中的内积换成核函数就行了
- 将 经典机器学习方法(5)—— 线性支持向量机器 中 2.3.2 节介绍的线性 SVM 对偶算法使用核函数进行改进,得到非线性 SVM 学习算法如下
3. 利用 sklearn 实现支持向量机
- 本节详细介绍如何使用 sklearn 库实现线性和非线性 SVM 分类,由于本段是 jupyter 文档转换来的,代码不一定可以直接运行,有些注释是jupyter给出的交互结果,而非运行结果!!
3.1 SVC 类
- sklearn 内置的支持向量分类器(SVC)类位于
sklearn.svm
包中,相关对象还有
-
SVR
:基于libsvm
实现的支持向量机,用于回归 -
LinearSVC
:可扩展线性支持向量机,基于liblinear
实现,用于分类。
- 文档说明
- C-支持向量分类。
- 该实现基于libsvm。 拟合时间至少与样本数量平方成比例,不适用于万级样本数的数据集。 对于大型数据集,考虑改用
sklearn.svm.LinearSVC
或sklearn.linear_model.SGDClassifier
,可能需要先进行sklearn.kernel_approximation.Nystroem
转换器。 - 多分类任务使用一对一方案(one-vs-one)进行处理。
- 有关提供的内核函数的精确数学公式以及
gamma
,coef0
和degree
如何相互影响的详细信息,请参见叙述性文档中的相应部分,见svm_kernels。
- 方法原型
- 参数表
参数 | 类型 | 默认 | 说明 |
C | float | 可选参数 (default=1.0) | 正则化参数。正则化的强度与C成反比,必须严格为正, 惩罚是平方L2惩罚。用于防止数据集不是分离好的, C会在间距上放大误差。随着C变大,误差的惩罚也会变大,SVM会尝试寻找一个更窄的间隔,即使它错误分类了更多数据点 |
kernel | {‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’} | 可选参数 (default=‘rbf’) | 指定要在算法中使用的内核类型。如果给出了可调用对象,则该可调用对象可用于从数据矩阵中pre-computed内核矩阵。 该矩阵应该是形状为 |
degree | int | 可选参数(default=3) | 多项式内核函数(poly)的度。所有其他内核忽略此参数 |
gamma | {‘scale’, ‘auto’} or float | 可选参数 (default=‘scale’) | ‘rbf’,‘poly’ 和 'Sigmoid’的内核系数。选择 |
coef0 | float | 可选参数 (default=0) | 内核函数中的独立项(Independent term),仅在 ‘poly’ 和 ‘sigmoid’ 中有意义 |
shrinking | bool | 可选参数 (default=True) | 是否使用缩小的启发式方法(shrinking heuristic) |
probability | bool | optional (default=None) | 是否启用概率估计。 必须在调用 |
tol | float | 可选参数 (default=1e-3) | 停止标准的阈值(Tolerance) |
cache_size | float | 可选参数 (default=200) | 指定内核缓存的大小(以MB为单位) |
class_weight | dict or ‘balanced’ | 可选参数 (default=None) | 对于SVC,将类i的参数C设置为 |
verbose | bool | 可选参数 (default=False) | 启用详细输出。 请注意,此设置利用了libsvm中每个进程的运行时设置,如果启用了该设置,则该设置可能无法在多线程上下文中正常工作。 |
max_iter | int | 可选参数 (default=-1) | 对求解器内的迭代进行硬性限制,或者为-1(无限制) |
decision_function_shape | {‘ovo’, ‘ovr’} | 可选参数 (default=‘ovr’) | 是否返回形状为 |
break_ties | bool | 可选参数 (default=None) | 如果为true,则 decision_function_shape =‘ovr’,并且类数> 2。 |
random_state | int or RandomState instance | 可选参数 (default=-1) | 如果int,random_state是随机数生成器使用的种子;如果是随机状态实例,random_state是随机数生成器;如果为None,则随机数生成器是np.random使用的随机状态实例 |
- 属性表
属性 | 类型 | 说明 |
support_ | ndarray of shape (n_SV,) | 支持向量的指标(Indices) |
support_vectors_ | ndarray of shape (n_SV, n_features) | 支持向量 |
n_support_ | ndarray of shape (n_class,), dtype=int32 | 每个类的支持向量数量 |
dual_coef_ | ndarray of shape (n_class-1, n_SV) | 决策函数中支持向量的对偶系数(请参阅sgd_mathematical_formulation)乘以其目标。对于多类,所有1-vs-1分类器的系数。在多类情况下,系数的布局(Layout)有些微不足道。 详细信息参见用户指南<svm_multi_class>中的 |
coef_ | ndarray of shape( n_class * (n_class-1)/2,n_features) | 分配给特征的权重(原始问题的系数)。 这仅在linear内核的情况下可用。注意: |
intercept_ | ndarray of shape (n_class * (n_class-1)/ 2,) | 决策函数中的常数 |
classes_ | ndarray of shape (n_classes,) | 类标签 |
probA_,probB_ | 都是ndarray of shape (n_class * (n_class-1) / 2) | 这俩是从数据集中学到的。如果 |
class_weight_ | ndarray of shape (n_class,) | 每个类的参数C的乘数。根据 |
shape_fit_ | tuple of int of shape (n_dimensions_of_X,) | 训练向量 |
3.2 线性 SVM 分类器
3.2.1 处理线性可分数据
- 通过在构造 SVC 对象时设置
kernel = "linear"
来构造线性 SVM 分类器,使用 .fit(X,y)
方法拟合
3.2.2 处理非线性数据
- 如果数据是非线性可分的,使用线性 SVM 分类器效果不佳
- 这时可以根据 x 轴特征新计算了一个特征,作为新加入的第三维度,从而把数据投影到三维空间中。令 x 值越靠近 0 时新特征值越大,这样就能在高位空间中用一个平面将两类数据隔开,使数据集再次线性可分
- 这里做的数据升维的过程就是一种 “核变换”,将数据从二维输入空间映射到投影到高维特征空间中,以寻找能够将让数据线性可分的高维空间和超平面
3.3 非线性 SVM 分类器
3.3.1 SVC在非线性数据上的推广
- 为了找出非线性数据的决策边界,需要把数据从输入空间投影到高维空间中,使其在高维空间中线性可分
。假设
- 可以把升维数据使其线性可分,则这种非线性SVM分类器的决策边界的推导过程和线性可分SVM一致,仅需把
- 转换为
- 即可
- 原始决策边界
- 升维决策边界
- 这种变换巧妙而有效,但是也有一些问题。
- 可能不清楚应该对各类数据使用什么类型的映射函数,以确保高维空间中的数据投影线性可分
- 映射后的空间也可能维度过高,导致冗余的推导和计算。极端情况下,数据可能被映射到无限维空间中
- 即使已知适当的映射函数,
3.3.2 sklearn 中的核函数
- sklearn 中,通过在构造 SVC 对象时设置
kernel
参数确定使用的核函数
- 可见,除了
linear
以外的其他核函数都能处理非线性情况。 -
poly
核有次数参数d
,d=1
时可以处理线性问题,d
更大时可以处理非线性问题。 - 3.3.2节中的升维方法其实就是应用了
rbf
核
- 使用
rbf
核找圆形数据集的决策边界
3.3.3 对比不同的核函数
- 对比不同核函数在不同分布数据集上的性能
- 可以观察到
-
linear
核函数和poly
核函数在非线性数据上表现会浮动,如果数据相对线性可分,即便有扰动项,表现也不错;如果是像环形数据那样彻底不可分的,则表现糟糕。 -
poly
核函数虽然也可以处理非线性情况,但更偏向于线性的功能。 -
sigmoid
核函数就比较尴尬了,它在非线性数据上强于两个线性核函数,但效果明显不如rbf
,它在线性数据上完全比不上线性的核函数们,对扰动项的抵抗也比较弱,所以它功能比较弱小,很少被用到。 -
rbf
核函数基本在任何数据集上都表现不错,属于比较万能的核函数。
- 个人经验是
- 无论如何先试试看
rbf
核函数,它适用于核转换到很高的空间的情况,在各种情况下往往效果都很不错,如果rbf
效果不好,那我们再试试看其他的核函数。 - 多项式核函数多被用于图像处理之中