PCA（Principal Component Analysis），也称为主成分分析。降维可以解决三类问题：

  • 缓解维度灾难
  • 在压缩数据的同时让信息损失最小化
  • 维度少的数据通过可视化更容易理解

从数学的角度来看，PCA的目标是什么呢？它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，即把原先的n个特征用数目更少的m个特征取代，并且，我们希望在所投影的维度上数据的方差最大，尽量使新的m个特征互不相关。

那么，PCA降维过程的一般步骤是什么呢？一般可分为四个步骤：

  • 对样本进行中心化操作，方便方差的计算
  • 计算样本的协方差矩阵
  • 对协方差矩阵做特征值分解
  • 取最大的m个特征值对应的特征向量，构造投影矩阵W

在这里，说明几个术语：

  • 方差（Variance）是度量一组数据分散的程度。方差是各个样本与样本均值的差的平方和的均值。
  • 协方差（Covariance）是度量两个变量的变动的同步程度，也就是度量两个变量线性相关性程度。如果两个变量的协方差为0，则统计学上认为二者线性无关。如果协方差大于0表示正相关，小于0表示负相关。
  • 协方差矩阵（Covariance matrix）由数据集中两两变量的协方差组成。
  • 特征向量，存在非零矩阵 A 和标量λ，若有向量 x 且满足Ax=λx, 那么 x 就为特征向量、λ为特征值。矩阵其实就是一种将某个向量变换为另一个的方法，另外我们也可以将矩阵看作作用于所有数据并朝向某个方向的力。通俗地说，矩阵就是一阵风，它通过有形的力量得出可见的结果。而这一阵风所吹向的方向就是特征向量，因此特征向量就表明矩阵所要变换的方向。
  • 寻找协方差矩阵的特征向量和特征值就等价于拟合一条能保留最大方差的直线或主成分。因为特征向量追踪到了主成分的方向，而最大方差和协方差的轴线表明了数据最容易改变的方向。