人工智能相关数学 - 矩阵

方阵的特征值(Eigenvalues)与特征向量(Eigenvectors)

Ax = λ x几何意义，并思考如何计算$A^{1000}$

给定一个矩阵$\left.\mathbf{A}=\left[\begin{array}{cc}4&1\\1&4\end{array}\right.\right]$，对于$\left.\mathbf{x}_1=\left[\begin{array}{c}1\\0\end{array}\right.\right]$, 则有$\left.\mathbf{Ax}_1=\left[\begin{array}{c}4\\0\end{array}\right.\right]$；对于$\left.\mathbf{x}_3=\left[\begin{array}{c}1\\1\end{array}\right.\right]$

，则有$\left.\mathbf{Ax}_3=5 \left[\begin{array}{c}1\\1\end{array}\right.\right]$

特征分解的性质

对于$Ax_i = λ x_i$，如果所有的特征值都不相同，则相应的所有的特征

向量线性无关。此时，A可以被对角化为

$\mathbf{A}=\mathbf{V}\Lambda\mathbf{V}^{-1}$

其中V = [x1, . . . , xn]，Λ = Diag (λ1, . . . , λn)。

对称矩阵的特征分解

如果一个对称矩阵的特征值不同，则其相应的所有的特征向量正交$(UU^T = U^T U = I)$

$\begin{aligned} \text{A}& =\mathbf{U}\Lambda\mathbf{U}^T \\ &\left.=[\mathbf{u}_1,\ldots,\mathbf{u}_n]\left[\begin{array}{cccc}\lambda_1&&&\\&\ddots&&\\&&\lambda_n\end{array}\right.\right]\left[\begin{array}{c}\mathbf{u}_1^T\\\vdots\\\mathbf{u}_n^T\end{array}\right] \\ &=\sum_{i=1}^n\lambda_i\mathbf{u}_i\mathbf{u}_i^T \end{aligned}$

对称矩阵的特征值是实数

如果$\mathbf{A}\in\mathbf{R}^{n\times n}$是一对称矩阵且rank r ≤ n，则有

$\underbrace{|\lambda_1|\geq|\lambda_2|\geq\ldots\geq|\lambda_r|}_r>\underbrace{\lambda_{r+1}=\ldots\lambda_n}_{n-r}=0$

$\mathrm{Rank}\left(\mathbf{A}^T\mathbf{A}\right)=\mathrm{Rank}\left(\mathbf{A}\mathbf{A}^T\right)=\mathrm{Rank}\left(\mathbf{A}\right)=\mathrm{Rank}\left(\mathbf{\Lambda}\right)$

二次型(Quadratic Form)

给定矩阵$\mathbf A\in\mathbb{R}^{n\times n}$，函数

$\mathbf{x}^T\mathbf{A}\mathbf{x}=\sum\sum x_ix_ja_{ij}$

被称为二次型。

如果对于所有x ∈ Rn，有xT Ax ≥ 0，则为半正定矩阵(positivesemidefinite)，此时λ (A) ≥ 0。

如果对于所有x ∈ Rn, x 6 = 0，有xT Ax > 0，则为正定矩阵(positivedefinite)。

负定矩阵

不定矩阵(indefinite)

二次型图形

二次函数：$\begin{aligned}f\left(\mathbf{x}\right)&=\mathbf{x}^T\mathbf{A}\mathbf{x}+2\mathbf{b}^T\mathbf{x}+c\end{aligned}$

$\nabla f\left(\mathbf{x}\right)=2\mathbf{A}\mathbf{x}+2\mathbf{b},\quad\nabla^2f\left(\mathbf{x}\right)=2\mathbf{A}$

特征分解的应用—PCA本质

给定一个矩阵$x \in R^{m \times n}$，例如

$\left.\mathbf{X}=\left[\begin{array}{cccc}a_1&a_2&\cdots&a_n\\b_1&b_2&\cdots&b_n\end{array}\right.\right]$

选择k < m个正交基进行降维的同时又尽量保留原始的信息。即，使得A变换到这组基后，使得行向量间的协方差为0，而每个行向量的方差尽可能大。

协方差矩阵(对称半正定)为

$\left.\mathbf{C}_X=\frac1n\mathbf{X}\mathbf{X}^T=\left[\begin{array}{cc}\frac1n\sum_{i=1}^na_i^2&\frac1n\sum_{i=1}^na_ib_i\\\frac1n\sum_{i=1}^na_ib_i&\frac1n\sum_{i=1}^nb_i^2\end{array}\right.\right]$

问题：假设变换矩阵为Y = QX，并先假设Q是方阵(先不降维)，则有

$\mathbf{C}_Y=\frac1n\mathbf{Y}\mathbf{Y}^T=\mathbf{Q}\mathbf{C}_X\mathbf{Q}^T$