核函数基础二核方法、核技巧和核函数

转载

mb5ff9827b65e5b 2020-05-31 13:41:00

核方法

核方法 是一类把低维空间的非线性可分问题，转化为高维空间的线性可分问题的方法。核方法不仅仅用于SVM，还可以用于其他数据为非线性可分的算法。核方法的理论基础是Cover's theorem，指的是对于非线性可分的训练集，可以大概率通过将其非线性映射到一个高维空间来转化成线性可分的训练集。

SVM中，令 $核函数基础二核方法、核技巧和核函数_核函数$ 表示将 $核函数基础二核方法、核技巧和核函数_特征空间_02$ 映射后的线性向量，那么对偶问题是：

$核函数基础二核方法、核技巧和核函数_核函数_03$

最终分类模型是：

$核函数基础二核方法、核技巧和核函数_特征空间_04$

跟上一篇的SVM相比，除了 $核函数基础二核方法、核技巧和核函数_点积_05$ 变成了 $核函数基础二核方法、核技巧和核函数_数据_06$ ，其他式子没有任何变化。

到这里核方法已经初步结束了，如果知道 $核函数基础二核方法、核技巧和核函数_点积_07$ 的具体形式就可以直接拿来用了。不过再深入一步，可以用核技巧加速核方法的计算。观察 $核函数基础二核方法、核技巧和核函数_点积_08$ ，我们只需要计算 $核函数基础二核方法、核技巧和核函数_点积_09$ ，并不需要单独计算，这便引入了核函数的概念。

核函数

定义核函数[2] 设 $核函数基础二核方法、核技巧和核函数_数据_10$ 是输入空间（即 $核函数基础二核方法、核技巧和核函数_机器学习_11$ ， $核函数基础二核方法、核技巧和核函数_数据_10$ 是 $核函数基础二核方法、核技巧和核函数_机器学习_13$ 的子集或离散集合），又设 $核函数基础二核方法、核技巧和核函数_机器学习_14$ 为特征空间（ $核函数基础二核方法、核技巧和核函数_机器学习_14$ 是希尔伯特空间[3]），如果存在一个从 $核函数基础二核方法、核技巧和核函数_数据_10$ 到 $核函数基础二核方法、核技巧和核函数_机器学习_14$ 的映射

$核函数基础二核方法、核技巧和核函数_机器学习_18$

使得对所有 $核函数基础二核方法、核技巧和核函数_数据_19$ ，函数 $核函数基础二核方法、核技巧和核函数_特征空间_20$ 满足条件

$核函数基础二核方法、核技巧和核函数_核函数_21$

则称 $核函数基础二核方法、核技巧和核函数_数据_22$ 为核函数。其中 $核函数基础二核方法、核技巧和核函数_核函数_23$ 为映射函数， $核函数基础二核方法、核技巧和核函数_机器学习_24$ 为内积。

即核函数输入两个向量，它返回的值跟两个向量分别作 $核函数基础二核方法、核技巧和核函数_点积_07$ 映射然后点积的结果相同。

核技巧

核技巧是一种利用核函数直接计算 $核函数基础二核方法、核技巧和核函数_数据_26$ ，以避开分别计算 $核函数基础二核方法、核技巧和核函数_点积_27$ 和 $核函数基础二核方法、核技巧和核函数_核函数_28$ ，从而加速核方法计算的技巧。

得益于SVM对偶问题的表现形式，核技巧可以应用于SVM。 $核函数基础二核方法、核技巧和核函数_特征空间_29$ 可改写为：

$核函数基础二核方法、核技巧和核函数_机器学习_30$

$核函数基础二核方法、核技巧和核函数_核函数_31$ 可改写为：

$核函数基础二核方法、核技巧和核函数_机器学习_32$

核函数的选择是SVM的最大变数，如果核函数选择不适，那么 $核函数基础二核方法、核技巧和核函数_点积_33$ 将不能将输入空间映射到线性可分的特征空间。下表为常用核函数[4]：

核函数基础二核方法、核技巧和核函数_机器学习_34

不知道 $核函数基础二核方法、核技巧和核函数_点积_33$ 的情况下，如何判断某个 $核函数基础二核方法、核技巧和核函数_数据_22$ 是不是核函数？答案是 $核函数基础二核方法、核技巧和核函数_机器学习_37$ 是核函数当且仅当对任意数据 $核函数基础二核方法、核技巧和核函数_机器学习_38$ ，核矩阵(kernal matrix,gram matrix)总是半正定的[5]：

$核函数基础二核方法、核技巧和核函数_核函数_39$

总结：核方法是一类把低维空间的非线性可分问题，转化为高维空间的线性可分问题的方法。核函数输入两个向量，它返回的值跟两个向量分别作 $核函数基础二核方法、核技巧和核函数_点积_33$ 映射然后点积的结果相同。核技巧是一种利用核函数直接计算 $核函数基础二核方法、核技巧和核函数_点积_41$ ，以避开分别计算 $核函数基础二核方法、核技巧和核函数_核函数_23$ 和 $核函数基础二核方法、核技巧和核函数_核函数_43$ ，从而加速核方法计算的技巧。核方法不仅仅适用于SVM，还适用于其他数据为非线性可分的问题和算法。SVM的表现形式包含了映射的点积，所以可以用核技巧加速核方法的计算。