什么是映射函数（核函数）？

映射函数（Mapping Function），在这个上下文中，指的是将数据从一个空间（通常是低维的输入空间）转换到另一个空间（通常是更高维的特征空间）的函数。

这个概念在核方法（Kernel Methods）中尤为重要，因为它允许我们在高维空间中处理非线性问题，而无需显式地计算高维空间中的数据点。

映射函数可以非常复杂，以至于直接操作映射后的数据点在计算上是不可行的，但通过核技巧（Kernel Trick），我们可以在原始空间直接操作数据点并间接实现高维空间的操作。

映射函数的基本形式

映射函数通常表示为 $\phi: \mathcal{X} \rightarrow \mathcal{F}$

• $\mathcal{X}$ 是原始数据所在的输入空间。
• $\mathcal{F}$ 是映射后数据所在的新特征空间，通常维度比 $\mathcal{X}$

对于任意的输入数据点 $x \in \mathcal{X}$ ，映射函数 $\phi(x)$

公式示例

假设我们有数据点 $x \in \mathbb{R}^d$ ，一个简单的二次映射函数 $\phi$

$\phi(x) = (x_1^2, x_2^2, \sqrt{2}x_1x_2, \sqrt{2}x_1x_3, ..., \sqrt{2}x_{d-1}x_d, x_d^2)$

这里：

• $x_i$ 表示原始数据点 $x$ 的第 $i$
• $\sqrt{2}x_ix_j$ 是交叉项，用于捕捉不同特征间的交互作用。
• $x_i^2$ 和 $x_j^2$ 是平方项，用于捕捉单一特征的非线性效应。

核技巧

虽然我们可以通过上述方式显式地定义映射函数 $\phi$ ，但在实际应用中，直接计算 $\phi(x)$ 可能会非常昂贵，尤其是在特征空间的维度非常高时。

核技巧允许我们避免显式计算 $\phi(x)$ ，而是直接计算两个数据点在特征空间中的内积，即核函数 $k(x, y) = \langle\phi(x), \phi(y)\rangle$

核函数的形式可以多种多样，取决于所选择的映射函数 $\phi$

• 线性核： $k(x, y) = x^\top y$
• 多项式核： $k(x, y) = (x^\top y + c)^d$
• 高斯径向基核（RBF）： $k(x, y) = \exp(-\gamma \|x - y\|^2)$

映射函数的作用

映射函数使得原本在原始空间中难以线性分离的数据点，在经过映射后的特征空间中变得线性可分。

这在机器学习中特别有用，因为许多算法（如支持向量机SVM）在特征空间中寻找最大边距超平面，而映射函数和核技巧提供了实现这一目标的有效途径。

总结

映射函数是连接原始数据空间与高维特征空间的桥梁，它允许我们在高维空间中进行更复杂的模式识别和分类任务，而核技巧则提供了一种计算高效的方式来实现这一点。