先考虑多项式核函数(polynomial kernel)比如

高斯核会把原始维度映射到无穷多维的原理
假设每个向量维度为2 两向量 X = (x1 , y1) Y = (x2 , y2)。则有
高斯核会把原始维度映射到无穷多维的原理
现在分析高斯核
高斯核会把原始维度映射到无穷多维的原理

同样每个向量的维度为2 两向量 X = (x1 , y1) Y = (x2, y2)则有根据泰勒公式
高斯核会把原始维度映射到无穷多维的原理
高斯核会把原始维度映射到无穷多维的原理

可以看出公式中的的泰勒展开式其实是0-n维的多项式核函数的和。

我们知道多项式核函数将低维数据映射到高维(维度是有限的),

那么 对于无限个 不同维的多项式核函数之和 的高斯核,

其中也包括 无穷维度 的 多项式核函数。而且我们也找得到 使该等式
高斯核会把原始维度映射到无穷多维的原理
成立而且维度 是无穷维。

其实核函数并不是在SVM里面才出现的
一个经典的例子就是信号处理中signal detection的问题:给一条time series我如何知道它不是一个random walk的噪音而是有一个特定的pattern在里面呢?在这个情景下,RKHS理论就给出了一个通过现实求解likelihood ratio的假设检验方案,其中的kernel实际上是某个随机过程 R(t) 在两个不同时间点的correlation。

最后推荐一个视频里面对kernel machine的应用讲的比较全面
https://www.youtube.com/watch?v=ek9jwRA2Jio