1.概念

  • 正交

线性代数的正交是垂直这一直观概念的推广，正交的向量之间是互相独立(线性无关的)。正交向量能够起到简化计算的作用。

  • 施密特正交化

施密特正交化可以将列向量独立的矩阵进一步改变为列向量不仅独立而且正交的矩阵

  • 正交向量组: 定义列向量$q_1、q_2、q_3...$是正交的，当且仅当满足： $$q_i^Tq_j = \begin{cases}0, i \neq j\1, i=j\end{cases}$$

2.正交矩阵

对于矩阵$Q=[q_1,q_2,...]$，则$Q^TQ = I$。 特别地，当$Q$是方阵，那么我们则称$Q$为正交矩阵，如下： $\begin{bmatrix}\sin\theta&cos\theta\\cos\theta&-sin\theta\end{bmatrix}$, $\frac{1}{3}\begin{bmatrix}1&2&2\-2&-1&2\2&-2&1\end{bmatrix}$,...

  1. 对于投影矩阵$P=A(A^TA)^{-1}A^T$，当A的列向量正交，即可以简化为$P=AA^T$，如果同时$A$是方阵，则$P=I$(因为$A^T=A^{-1}$)；
  2. 简化了最小二乘时$A^TA\hat{x} = A^Tb$ 的步骤，因为$A^TA=I$，即直接得到$\hat{x}=A^Tb$。

3.施密特正交化

对于a、b、c三个向量求正交向量其实就是分别求三个向量投影时的误差e，再进行单位化。

知：$e=b-p=b-\frac{a^Tb}{a^Ta}a$

image.png

如果令$A=a$，则A和自己的是不存在误差的（或者说误差为0），进行单位化后得到$q_1=\frac{A}{|A|}$，对于B来说，存在的误差为： $B= b-p= b-\frac{A^Tb}{A^TA}A$，单位化后得到$q_2=\frac{B}{|B|}$，同理可得到C对应的误差为：$C = c-\frac{A^Tc}{A^TA}A -\frac{B^Tc}{B^TB}B$，对应的正交向量$q_3=\frac{C}{|C|}$。（此处对于C可以理解为 c 减去c在A和B方向上的分量）

补充： image.png

4.A=QR分解

本节参考【MIT18.06线代】2.4正交向量和施密特正交化

image.png