深度学习的相似矩阵

回顾

• 基变换的意义：在不同坐标系下，观察同一个向量（坐标变换问题）/观察同一个线性变换（相似矩阵问题）
• 相似矩阵：$\boldsymbol{B}=\boldsymbol{M}^{-1} \boldsymbol{A} \boldsymbol{M}$，同一个线性变换，在不同坐标系表现为不同相似矩阵（两矩阵特征值相同，但特征向量不同）

引入特征值和特征向量$\boldsymbol{A} \mathbf{x}=\lambda \mathbf{x}$

• 对于具有n个无关特征向量的矩阵，可以实施相似对角化：$\boldsymbol{A}=\boldsymbol{S}^{-1} \boldsymbol{\Lambda} \boldsymbol{S}$（对角阵$\boldsymbol{\Lambda}$保持特征值，$\boldsymbol{S}$保存特征向量）
  优势：计算矩阵幂更方便$\boldsymbol{A}^{k}=\boldsymbol{S}^{-1} \boldsymbol{\Lambda}^{k} \boldsymbol{S}$
  应用：微分方程$\mathrm{d} \mathbf{u} / \mathrm{dt}=\boldsymbol{A} \mathbf{u}$和矩阵指数形式$e^{\boldsymbol{A} t}$
• 对称矩阵：$\boldsymbol{A}=\boldsymbol{A}^T或\boldsymbol{A}=\boldsymbol{A}^H(复数矩阵)$
  一定能得到n个正交的特征向量（即使有重特征值，也有足够的线性无关特征向量），一定有实数特征值
  对称阵对角化更加简洁：$\boldsymbol{A}=\boldsymbol{Q} \boldsymbol{\Lambda} \boldsymbol{Q}^{T}$（特征向量矩阵为正交矩阵，满足$\boldsymbol{Q}^{-1}=\boldsymbol{Q}^T$）
• 正定矩阵，在对称阵基础上，还有正实数特征值，可用于判断二次型的几何图像特征
• 奇异值分解SVD：$\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{T}$

例题

Eg1 各种矩阵的特征值特点

对于某矩阵$\mathbf A$，其特征值$\lambda_{1}=0, \lambda_{2}=c, \lambda_{3}=2$
特征向量$\mathbf{x} 1=\left[\begin{array}{l}1 \\1 \\1\end{array}\right] , \mathbf{x} 2=\left[\begin{array}{r}1 \\-1 \\0\end{array}\right], \mathbf{x} 3=\left[\begin{array}{r}1 \\1 \\-2\end{array}\right]$

• $c$如何取值，保证矩阵$\mathbf A$可对角化？
  对角化仅取决于是否有n个无关的特征向量，$c$可以取任意值
• $c$如何取值，保证矩阵$\mathbf A$对阵？
  对称矩阵特征向量正交，这里已经满足
  对称矩阵特征值全为实数，$c$需要取实数
• $c$如何取值，保证矩阵$\mathbf A$正定？
  正定矩阵特征值全为正实数，然而有$\lambda_{1}=0$，故$c$取任何值都不能保证矩阵$\mathbf A$正定（但是$c\geq 0$可保证矩阵半正定）
• $c$如何取值，保证矩阵$\frac{1}{2}\mathbf A$为投影矩阵？
  投影矩阵特征值只能为0或1（$\mathbf P^2=\mathbf P$，两次变换叠加则$\lambda^2=\lambda$，故$\lambda=0或1$），故$c=0或2$

Eg2 对称矩阵和正交矩阵的特点

已经矩阵$\mathbf A$对称且正交

• $\mathbf A$的特征值有何限制？
  ①对称阵，特征值为实数；②正交矩阵，特征值$|\lambda|=1$（正交矩阵对应旋转变换；或者由于$\mathbf Q\mathbf x=\lambda\mathbf x$，而正交矩阵与任意向量相乘不改变其长度$\|\mathbf Q\mathbf x\|=\|\mathbf x\|=\|\lambda\mathbf x\|$）
  综上，$\mathbf A$的特征值满足$\lambda=\pm1$
• $\mathbf A$是否可逆
  $\mathbf A$没有零特征值，必可逆；或者说，正交矩阵一定可逆
• $\mathbf A$是否正定
  当有特征值$\lambda=-1$，不是正定的
• $\mathbf A$是否可以对角化
  可以，因为对称阵/正交阵 一定有n个无关（且正交）的特征向量（即使很可能有重特征值），必然可以对角化
• 证明：$\boldsymbol{P}=(1 / 2)(\boldsymbol{A}+\boldsymbol{I})$为投影矩阵
  思路：验证该矩阵满足投影矩阵的各性质①投影矩阵为对称阵（满足）②$\boldsymbol P^2=\boldsymbol P$，最终只需要证明②
  证明②，法1：计算$\boldsymbol{P}^{2}=\left(\frac{1}{2}(\boldsymbol{A}+\boldsymbol{I})\right)^{2}=\frac{1}{4}\left(\boldsymbol{A}^{2}+2 \boldsymbol{A}+\boldsymbol{I}\right)$
  其中，由于$\mathbf A$对称且正交，有$\mathbf A=\mathbf A^T=\mathbf A^{-1}$，故$\boldsymbol{A}^{2}=\boldsymbol I$，带入上式得到$\boldsymbol P^2=\frac{1}{2}(\boldsymbol{A}+\boldsymbol{I})=\boldsymbol P$
  证明②，法2：投影矩阵的特征值只可能为0或1，转为验证该矩阵的特征值为0或1
  由于上面说过，$\mathbf A$的特征值满足$\lambda=\pm1$，则$\mathbf A+\mathbf I$特征值$\lambda=0或2$（原来的特征值满足$det(\mathbf A-\lambda\mathbf I)=0$，那么$det[(\mathbf A+\mathbf I)-\lambda$的解为$\lambda$），则$\boldsymbol{P}=(1 / 2)(\boldsymbol{A}+\boldsymbol{I})$特征值$\lambda=0或1$