python主成分回归PCR实例 主成分回归方法

一，主成分分析法(Principal Component Analysis)

1，主成分分析法(PCA)是比较常用的数据压缩算法，把高维度数据投影到低维度平面（超平面）上，使投影误差平方最小

 

2，PCA与线性回归区别

在代价函数里线性回归计算的是预测值与实际值的误差(y的差值)，PCA里计算的是投影与原特征的差值(x的差值), PCA不需要y值

 

二，PCA计算方法

1，PCA算法的预处理

进行PCA之前先进行特征缩放，使所有的特征的数据范围在同一量级，否则会造成有些取值范围大的特征投直接全部落到超平面上，投影误差小，范围小的投影误差大

2，PCA算法的目标

假如从n维数据降到k维数据，目标是找到代表投影平面的k个向量\(u^{(1)}, u^{(2},.... u^{(k}\)，把该数据到超平面的投影来代替原始数据

 

3，PCA算法步骤

 

从n维降到k维的算法步骤：

1)，计算协方差矩阵(covariance matrix)

$\(\sum = \frac{1}{m} \sum_{i=1}^{i=m}(X^{(i)})(X^{(i)})^T = \frac{1}{m} (X^{T}*X)\)$

2)，计算协方差矩阵(covariance matrix)的特征向量(eigenvector)

$[U, S, V] = svd(Sigma); \(U = \begin{bmatrix} | & | & | & ... & | \\ u^{(1)} & u^{(2)} & u^{(3)} & ... & u^{(n)} \\ | & | & | & ... & | \end{bmatrix} \in \mathbb{R}^{n \ast n} \)$

3)，选定U的前k列乘以X获得投影之后的坐标(特征)Z

$\(z = \begin{bmatrix} | & | & | & ... & | \\ u^{(1)} & u^{(2)} & u^{(3)} & ... & u^{(k)} \\ | & | & | & ... & | \end{bmatrix}^{T} * x, x \in \mathbb{R}^{n \ast 1}\)$ 

$\(Z^ = X * \begin{bmatrix} | & | & | & ... & | \\ u^{(1)} & u^{(2)} & u^{(3)} & ... & u^{(k)} \\ | & | & | & ... & | \end{bmatrix}, X \in \mathbb{R}^{m \ast n} \)$ 

4，Octave或MATLAB伪代码

 5,从投影数据还原成原数据

设$\(Ureduce = \begin{bmatrix} | & | & | & ... & | \\ u^{(1)} & u^{(2)} & u^{(3)} & ... & u^{(k)} \\ | & | & | & ... & | \end{bmatrix} \)\(x_{approx} = Ureduce * z\) \(X_{approx} = Z * Ureduce^{T}\)$

还原回的\(x_{approx}\)与原\(x\)应该非常接近

三，使用PCA算法的建议

1，如何选择投影平面的维度K的大小

求出差异性小于0.01~0.05的k的最小值，保留99%~95%的差异性

$\(\frac{\frac{1}{m}\sum_{i=1}^{m} \left \| x^{(i)} - x_{approx}^{(i)} \ \right \| ^{2}}{\frac{1}{m}\sum_{i=1}^{m} \left \| x^{(i)} \right \|^{2}} \leqslant 0.01 \sim 0.05\)$

2，选择k的算法步骤

一种是从小到大依次选择k值，计算差异值是否符合自己的要求，这样至多会执行n次SVD算法

还有一种是利用SVD算法返回的S值

S是一个对角矩阵(对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为 0 的矩阵)

$\(S = \begin{bmatrix} S_{11} & 0 & 0 & 0 & 0\\ 0 &S_{22} & 0 & 0 & 0\\ 0 & 0 &S_{33} & 0 & 0\\ 0 & 0 & 0 &... & 0\\ 0 & 0 & 0 & 0 &S_{nn} \end{bmatrix}\)$对于给定k

$\(\frac{\frac{1}{m}\sum_{i=1}^{m} \left \| x^{(i)} - x_{approx}^{(i)} \right \| ^{2}}{\frac{1}{m}\sum_{i=1}^{m} \left \| x^{(i)} \right \|^{2}} = 1 - \frac{\sum_{ii=1}^{k}S_{ii}}{\sum_{ii=1}^{n}S_{ii}} \leqslant 0.01 \Rightarrow \frac{\sum_{ii=1}^{k}S_{ii}}{\sum_{ii=1}^{n}S_{ii}} \geqslant 0.99\)$

总结起来就是

 3，PCA应用于监督学习(Supervised Learning)

PCA可压缩监督学习的数据特征，从而提高学习算法的速率，由$\((x^{(1)}，y^{(1)})，(x^{(2)}，y^{(2)})，..... ，(x^{(m)}，y^{(m)}) \Rightarrow (z^{(1)}，y^{(1)})，(z^{(2)}，y^{(2)})，..... ，(z^{(m)}，y^{(m)})\)$

如果无监督学习应用PCA，不仅要应用于\(X_{train}\)，而且要应用于\(X_{CV}\)，\(X_{test}\)

 4，PCA应用

PCA应用于数据压缩和数据可视化

 5，PCA不能用于抑制过度拟合

因为用PCA压缩数据，数据多少总会失真，抑制过度拟合最好还是用正则化

 6，不要在设计机器学习系统的开始阶段就使用PCA

PCA是一种会使原始数据失真的优化方法，不要一开始就使用

使用PCA之前必须先用原来的方法试试，如果学习速度太慢不符合要求，或者想可视化数据，第二次再使用PCA算法