python 小波神经网络 小波分析与神经网络

【小波分析】六、小波分析与非线性逼近（上）

文章目录

• 【小波分析】六、小波分析与非线性逼近（上）

• 对偶
• 插值空间
• 平移不变空间
• 多分辨分析和小波分解

神经网络与小波分析相结合, 分形几何与小波分析相结合是国际上研究的热点之一。基于神经网络的智能处理技术, 模糊计算、进化计算与神经网络结合的研究, 没有小波理论的嵌人很难取得突破。非线性科学的研究正呼唤小波分析, 也许非线性小波分析是解决非线性科学问题的理想工具。

对偶

回忆一下，在线性代数中，如果给定 $\mathbb{R}^n$ 空间的一组基，不妨设为 $\mathbf {e}_k$，每个 $k$ 对应于一个 $n$ 维的列向量，它们不必是单位向量，也不必是正交的。那么，给定空间的一个向量 $\mathbf v$，它在每个 $\mathbf{e}_k$ 上的系数，就等于 $\mathbf{v}$ 和 $\mathbf{e}_k$ 对偶上的内积。即
$\mathbf{v} = \sum_{k=1}^{n} (\mathbf{v},\mathbf {\tilde {e}}_k) \mathbf{e}_k$

其中，$(\cdot,\cdot)$ 表示向量内积。$\mathbf {\tilde {e}}_k$ 表示 $\mathbf{e}_k$ 的对偶（在这组基的意义下），即
$(\mathbf{e}_j,\mathbf {\tilde {e}}_k) = \delta_{j,k}.$

$\delta$ 表示 Kronecker delta 函数，$j=k$ 为 1，$j\neq k$

理解一下，我们要找一个向量在一组基下的表示，无非就是要找到这组基张成的矩阵的逆，所谓的对偶，其实本质上反映的就是基向量张成的空间的逆。当基函数是标准正交基的时候，它张成的矩阵是个酉矩阵，那么它的逆本质上就等同于自身，此时，$\mathbf {\tilde {e}}_k=\mathbf{e}_k$。

把它推广到函数空间，也是一样的。在 $L^2(\mathbb{R})$ 空间中定义对偶 $\tilde{\varphi}_k$，

$<\varphi_j, \tilde{\varphi}_k> := \int_{\mathbb{R}} \varphi_j \tilde{\varphi}_k \mathrm{d} x=\delta_{j k}$

那么，任意的 $f \in L^2(\mathbb{R})$，我们有

$f = \sum_{k=1}^{n} <f, \tilde{\varphi}_k> \varphi_k.$

非常干净，非常简洁的表示。在理论分析上很有用。

插值空间

这里直接给出插值空间 $(X, Y)_{\theta, q}$ 的定义，它是满足以下半范有限的所有的 $f$ 的集合：
$|f|_{(X, Y)_{\theta, q}}:=\left\{\begin{array}{ll} \left(\int_{0}^{\infty}\left[t^{-\theta} K(f, t)\right]^{q} \frac{\mathrm{d} t}{t}\right)^{1 / q}, & 0<q<\infty \\ \sup _{t>0} t^{-\theta} K(f, t), & q=\infty \end{array}\right.$

这里的 $K$ 泛函定义为，
$K(f, t):=K(f, t ; X, Y):=\inf _{g \in Y}\|f-g\|_{X}+t|g|_{Y}$
这里的 $Y$ 是连续地嵌入到 $X$ 里面，即
$Y \subset X \text { 且}\|\cdot\|_{X} \leq C\|\cdot\|_{Y}$

平移不变空间

对于 $L_{2}\left(\mathbb{R}^{d}\right)$ 上的一个紧支函数 $\varphi$ ，我们可以定义其生成的 PSI（principal shift invariant） 空间 $\mathcal{S}:=\mathcal{S}(\varphi)$，它表示 $\varphi$ 的平移的所有有限线性组合构成的集合的闭包。同样地，我们定义 $\mathcal{S}_{k}:=\mathcal{S}_{k}(\varphi)$ 为 $\mathcal{S}(\varphi)$ 的 $2^k$ 压缩。那么，我们可以定义逼近误差，
$E_{k}(f):=E_{k}(f)_{2}:=\inf _{S \in \mathcal{S}_{k}}\|f-S\|_{L_{2}\left(\mathbb{R}^{d}\right)}, \quad k=0,1, \ldots$

定义 $r$ 阶 Strang-Fix 条件如下，
$\hat{\varphi}(0) \neq 0, \text { and } D^{j} \hat{\varphi}(2 k \pi)=0, \quad k \in \mathbb{Z}^{d} \backslash\{0\},|j|<r$

我们引入 Jackson 不等式，对于所有 Sobolev 空间 $W^{r}\left(L_{2}\left(\mathbb{R}^{d}\right)\right)$ 中的函数 $f$，有

$E_{k}(f) \leq C 2^{-k r}|f|_{W^{r}\left(L_{2}\left(\mathbb{R}^{d}\right)\right)}, \quad k=0,1, \ldots$

相对应的 Berstein 不等式是，
$|S|_{W^{r}\left(L_{2}\left(\mathbb{R}^{d}\right)\right)} \leq C 2^{k r}\|S\|_{L_{2}\left(\mathbb{R}^{d}\right)}, \quad S \in \mathcal{S}_{k}$

那么我们可以给出逼近空间的刻画，
$\mathcal{A}_{q}^{\alpha}\left(L_{2}\left(\mathbb{R}^{d}\right)\right)=B_{q}^{\alpha}\left(L_{2}\left(\mathbb{R}^{d}\right)\right), \quad 0<\alpha<r, 0<q \leq \infty$

这个的证明利用到了 $r$ 阶光滑模量和 $K$ 泛函的等价性可以得到。其中，$\mathcal{A}_{q}^{\alpha}:=\mathcal{A}_{q}^{\alpha}\left(X,\left(X_{n}\right)\right)$ （子空间序列 $X_{n} \subset X$）是所有满足如下半范数有界的 $f$ 的集合：
$|f|_{\mathcal{A}_{q}^{\alpha}}:=\left\{\begin{array}{ll} \left(\sum_{n=1}^{\infty}\left[n^{\alpha} E_{n}(f)_{X}\right]^{q} \frac{1}{n}\right)^{1 / q}, & 0<q<\infty \\ \sup _{n \geq 1} n^{\alpha} E_{n}(f)_{X}, & q=\infty \end{array}\right.$
逼近空间范数的定义，是通过函数与一族子空间的某种距离来刻画的。若我们用函数的点点光滑性来定义范数，我们就可以得到 Besov 空间，即如下定义的半范数是有限的：
$|f|_{B_{q}^{\alpha}\left(L_{p}(\Omega)\right)}:=\left\{\begin{array}{ll} \left(\int_{0}^{\infty}\left[t^{-\alpha} \omega_{r}(f, t)_{p}\right]^{q} \frac{\mathrm{d} t}{t}\right)^{1 / q}, & 0<q<\infty \\ \sup _{t>0} t^{-\alpha} \omega_{r}(f, t)_{p}, & q=\infty \end{array}\right.$
其中，$r$ 阶光滑模量的定义如下，
$\omega_{r}(f, t)_{p}:=\sup _{|h| \leq t}\left\|\Delta_{h}^{r}(f, \cdot)\right\|_{L_{p}(\Omega)}$
而 $\Delta_{h}^{r}$ 是步长为 $h$ 的 $r$

$\Delta_{h}^{r}(f, x):=\sum_{k=0}^{r}(-1)^{r-k}\left(\begin{array}{l} r \\ k \end{array}\right) f(x+k h) .$

逼近空间的这种取法应该怎么理解？因为 Jackson 不等式和 Bernstein 不等式是被满足的，在这个先决条件下，由一些基本的理论，我们知道逼近空间可以取为插值空间，插值空间里面的 K 泛函换成跟其等价的 r 阶光滑模量，就得到逼近空间其实就是 Besov 空间。

多分辨分析和小波分解

上述定义的 $\mathcal{S}_{k}$ 如果有包含关系，即 $\mathcal{S}_{k} \subset \mathcal{S}_{k+1}$，那么，本质上 $\mathcal{S}_{k}$ 就构成了一个多分辨分析。对于尺度函数，我们定义它的对偶为，
$\int_{\mathbb{R}} \varphi(x-j) \tilde{\varphi}(x-k) \mathrm{d} x=\delta_{j k}$
则 $\varphi$ 可以写成 $\mathcal{S}_{1}$ 空间中的基的线性组合，
$\varphi(x)=\sum_{k \in \mathbb{Z}} c_{k} \varphi(2 x-k)$
因为 $\varphi$ 是紧支的，这意味着只有有限个 $c_k$ 不为零。这个系数一般就称为低通滤波器系数。类似地，我们也可以定义出 $\tilde{C}_{k}$。

定义投影算子，
$P f:=\sum_{j \in \mathbb{Z}}\langle f, \tilde{\varphi}(\cdot-j)\rangle \varphi(\cdot-j)$
注意到这里的系数是和对偶做内积。

类似于多分辨分析中我们介绍得小波的构造，我们可以构造出小波如下，
$\psi(x)=\sum_{k \in \mathbb{Z}} d_{k} \tilde{\varphi}(2 x-k), \quad d_{k}:=(-1)^{k} \tilde{c}_{1-k} .$

它的平移构成的空间，我们记为 $W$，那么，函数 $f$ 到 $W$ 上的投影就是，
$Q f=\sum_{j \in \mathbb{Z}} \langle f, \tilde{\psi}(\cdot-j)\rangle \psi(\cdot-j)$

那么，我们可以直接写出函数的小波分解，
$f=\sum_{k \in \mathbb{Z}} \sum_{j \in \mathbb{Z}} 2^{k}\left\langle f, \tilde{\psi}\left(2^{k} \cdot-j\right)\right\rangle \psi\left(2^{k} \cdot-j\right)$

我们现在考虑多维自变量的情况，对于每个定义在 $\mathbb{R}^d$ 上的函数 $\eta$，定义符号，
$\eta_{I}(x):=|I|^{-1 / 2} \eta\left(2^{k} \cdot-j\right)$
这里的 $|I|$ 表征的是单位立方体变成的体积，本质上体现了函数积分压缩到了原来的几分之几。即 $I=2^{-k}(j+\Omega)$ 其中 $\Omega:=[0,1]^{d}$。

那么原来的小波分解就可以写为，
$f=\sum_{I \in D} c_{I}(f) \psi_{I}, \quad c_{I}(f):=\left\langle f, \psi_{I}\right\rangle$
其中 $\psi_{I}$ 表示的是 $I$ 所代表的小波母函数的伸缩平移。它构成了 $L_{2}(\mathbb{R})$

那么多维的小波如何构造呢？一个简单的方法是可以通过一维的小波进行构造。令 $\psi^{0}:=\varphi, \psi^{1}:=\psi$，$e=\left(e_{1}, \ldots, e_{d}\right)$

$\psi^{e}\left(x_{1}, \ldots, x_{d}\right):=\psi^{e_{1}}\left(x_{1}\right) \cdots \psi^{e_{d}}\left(x_{d}\right)$

那么，同样用 $D$ 来表示所有伸缩和平移，那么，
$\left\{\psi_{I}^{e}, \quad I \in D, e \in E\right\}$
构成了 $L_{2}\left(\mathbb{R}^{d}\right)$ 空间的一组标准正交基。这里的 $E$