正文

这里关于基变换和伪逆做的都是简单的介绍,关于他们的更深入的理论介绍和更深入的应用介绍还需参考其他资料,然后补充。

基变换

基变换是图像压缩、信号压缩等应用的理论基础,通俗来讲就是对于给定的数据矩阵,我们选择一个较好的基来进行计算,目前还不错的基有傅里叶基和小波基。其中小波基有一些良好的特性,小波基中的列向量都是正交的。似乎在线性代数中,关于矩阵,我们都希望他们的基是正交的,这样会大大的方便我们的计算。 所谓较好的基就是指基的性质比较好,通常有以下两点:

  • 计算快
  • 少量的基向量就足够重现图像

基变换的公式:小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解 基变换就是要从一组旧的基变换到一组新的基。如从旧基小波变换逆小波变换pytorch代码 小波变换的逆变换_小波变换逆小波变换pytorch代码_02到新基小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_03的变换:小波变换逆小波变换pytorch代码 小波变换的逆变换_小波基_04

与基变换相类似的还有矩阵的变换,它更多的是来自于线性变换。例如:从小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_05变换到小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_06,那么小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_07小波变换逆小波变换pytorch代码 小波变换的逆变换_小波基_08必然有一些联系,即小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_07相似于小波变换逆小波变换pytorch代码 小波变换的逆变换_小波基_08,用公式表示为:小波变换逆小波变换pytorch代码 小波变换的逆变换_小波变换逆小波变换pytorch代码_11,其中小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_12就是基变换矩阵。

伪逆

之前我们介绍的逆就是一般情况下的逆,这种一般的情况在实际中往往很难满足,也就是实际中我们会遇到大量的矩阵,无法求逆,这个时候就需要使用一种称为伪逆的逆去近似使用。

左逆。 我们先看列满秩矩阵小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_13

小波变换逆小波变换pytorch代码 小波变换的逆变换_小波变换逆小波变换pytorch代码_14

。秩小波变换逆小波变换pytorch代码 小波变换的逆变换_小波基_15,所以零空间中只有零向量。方程组小波变换逆小波变换pytorch代码 小波变换的逆变换_小波变换逆小波变换pytorch代码_16有0个或1个解。这是我们之前学习的内容,在提到的时候应该很熟练的了解到这些信息。这个时候小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_17小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_18的,也就是说它是一个可逆矩阵。因此有:小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_19那么小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_20就是矩阵小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_07的左逆,也就是当矩阵小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_07左乘它的时候可以得到单位矩阵,但是右乘的时候不能得到单位矩阵。这种方式对于最小二乘是非常重要的。

右逆。 再看行满秩的矩阵小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_13,则

小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_24

。左零空间中只有零向量,但小波变换逆小波变换pytorch代码 小波变换的逆变换_小波变换逆小波变换pytorch代码_16总有解。这也是之前的相关内容。我们看小波变换逆小波变换pytorch代码 小波变换的逆变换_小波基_26,这是一个小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_27的矩阵,并且它是可逆的,这是由小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_28决定的。于是:小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_29这个时候我们就得到了右逆,即小波变换逆小波变换pytorch代码 小波变换的逆变换_小波变换逆小波变换pytorch代码_30。虽然左逆右乘和右逆左乘都不能够得到单位矩阵,但是会得到我们熟悉的矩阵:小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_31,这是左逆右乘得到的投影矩阵,它是将矩阵投影到列空间上的矩阵;小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_32,这也是投影矩阵的一种,之所以不常见,是因为它是将矩阵投影到行空间上的矩阵。

伪逆。 在某些情况下,我们不在整个向量空间上取逆,而仅仅限制在某些子空间上,通常是不包括零空间,这样得到的逆就是伪逆,虽然他们不是真正的逆,但它们确实是最接近于逆的矩阵了。伪逆记为:小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_33。比如:在左逆的时候,只有在小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_07是列满秩的情况下,小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_17才可逆,最小二乘法才得以进行,但实际上却有很多不满足满秩的矩阵,这个时候就需要使用伪逆。每个矩阵都有伪逆,但不一定有左右逆。关于伪逆,这里介绍的非常有限,还需参考其他资料。

发现伪逆的方法: 这里介绍一种方法,通过奇异值分解进行寻找伪逆。之所以能够使用奇异值分解,是因为小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_36中的值大都来自于小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_37。如:对于矩阵小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_07小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_39,并且小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_36的值如下: 小波变换逆小波变换pytorch代码 小波变换的逆变换_小波基_41在这种情况下,它们的积并不是单位矩阵,因为伪逆作用于原矩阵根本就得不到单位矩阵。它们的积如下:小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_42不过左上角是一个小波变换逆小波变换pytorch代码 小波变换的逆变换_投影矩阵_18的单位矩阵块。这实际上是投影在行空间上的投影矩阵。而小波变换逆小波变换pytorch代码 小波变换的逆变换_小波变换逆小波变换pytorch代码_44得到的是小波变换逆小波变换pytorch代码 小波变换的逆变换_奇异值分解_27的矩阵,它是投影在列空间上的投影矩阵。这就是伪逆的作用,无论乘在左边还是右边都得不到单位矩阵,但是能够得到投影矩阵,带我们进入行空间和列空间,排除了零空间。 这句话的几何意义还是非常的晦涩,所以还应该慢慢体会。接下来,我们就可以得到伪逆的公式:小波变换逆小波变换pytorch代码 小波变换的逆变换_小波基_46奇异值分解和特征值分解都是非常非常厉害的工具,应用也是非常的广泛。伪逆使得实际应用范围更加广泛了。