diffusion Model原理之扩散过程与逆扩散过程

前面推导了一些铺垫知识，现在正式来看diffusion Model。

3 diffusion models

我们说的扩散过程，就是从$x_0$到$x_T$的过程，也就是墒增的过程，从有序到无序。反过来是叫做逆扩散过程。

所以可以看到，q模型是一个加噪音的模型，p模型是一个去噪音的过程。

3.1 扩散过程

• 给定初始数据分布$x_0 \sim q(x)$,可以不断向分布中添加高斯噪音，该噪音的标准差是以固定值$\beta_t$而确定的，而均值是以固定值$\beta_t$和当前t时刻的$x_t$决定的。这个过程是一个马尔可夫链过程。
• 随着t不断增大，最终数据分布$x_T$变成了一个各向独立的高斯分布。

$q(x_t|x_{t-1})=N(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_tI)$

$q(x_{1:T}|x_0) = \prod_{t=1}^T q(x_t|x_{t-1})$

• 这里会用到参数重整化的技巧，我们知道$x_t$服从这个正态分布，所以我们从标准正态分布中采样出z，然后与$\sqrt{1-\beta_t}x_{t-1}$均值相加，与$\beta_t$标准差相乘。

这里$\beta_{t}>\beta_{t-1}$

这里推导一下，我们的$x_t$可以表示为$x_{t-1}$的函数，也可以表示为$x_0$的函数。我们这里设定$\alpha_t=1-\beta_t$

$x_t=\sqrt{\alpha_t}x_{t-1}+\sqrt{1-\alpha_t}*z$

上面公式中z为正态高斯分布，且利用了参数重整化的技巧。（reparameterization trick）

$x_t=\sqrt{\alpha_t}(\sqrt{\alpha_{t-1}}x_{t-2}+\sqrt{1-\alpha_{t-1}}*z)+\sqrt{1-\alpha_t}*z$

$=\sqrt{\alpha_t\alpha_{t-1}}x_{t-2}+\sqrt{\alpha_t(1-\alpha_{t-1})}z+\sqrt{1-\alpha_t}z$

两个高斯分布相加a+b，那么新分布的方差是$a^2+b^2$.所以上面公式可以化简成：

$=\sqrt{\alpha_t\alpha_{t-1}}x_{t-2}+\sqrt{1-\alpha_t\alpha_{t-1}}z$

所以我们继续递归上面公式，可以得到： $x_t = \sqrt{\prod_{i=1}^t{\alpha_i}} x_0+ \sqrt{1-\prod_{i=1}^t{\alpha_i}}z$

设置$\bar{\alpha_t}=\prod_{i=1}^t{\alpha_i}$

则$q(x_t|x_0)=N(x_t;\sqrt{\bar{\alpha_t}}x_0,(1-\bar{\alpha_t})I)$

所以我们大概可以计算出来，当t需要多大的时候，$\bar{\alpha_t}$是接近0的，就是独立同分布。

这里就可以看出来扩散模型和VAE的区别，从x到z的过程，vae是一个网络预测出来的z，而且并不能保证z和x是无关的；而扩散模型的扩散过程是一个无参的过程，并且z是一个各项同分布的一个分布，与x完全不相关。此外扩散模型的z和x是同尺寸的，而vae没有这个需求

当样本有着越来越多噪音的时候，可以采用更大的update step：

3.2 逆扩散过程

• 逆过程是从高斯噪音中恢复原始数据。

$p_\theta(x_{t-1} | x_t)=N(x_{t-1};\mu_\theta(x_t,t),\Sigma_\theta(x_t,t))$

现在我们需要推导一下后验扩散条件概率$q(x_{t-1}|x_t,x_0)$。

$q(x_{t-1}|x_t,x_0)=\frac{q(x_{t-1},x_t,x_0)}{q(x_t,x_0)}$

$=\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)q(x_0)}{q(x_t|x_0)q(x_0)}=q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}$

因为这是马尔可夫过程，所以$q(x_t|x_{t-1},x_0)=q(x_t|x_{t-1})$

现在我们要重点考虑这个部分：

前者是：

后者是：

我们只考虑指数部分，因为系数部分一定是正数，所以成正比关系。

$q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}$

$\propto exp(-\frac{1}{2}( \frac{(x_t-\sqrt{\alpha_t}x_{t-1})^2}{\beta_t}+ \frac{(x_{t-1}-\sqrt{\bar{\alpha}_{t-1}}x_0)^2}{1-\bar{\alpha}_{t-1}}-\frac{(x_t-\sqrt{\bar{\alpha}_t}x_0)^2}{1-\bar{\alpha}_t} ))$

我们要求解$x_{t-1}$，所以将上面公式整理一下形式：

$exp(-\frac{1}{2}( (\frac{\alpha_t}{\beta_t}+\frac{1}{1-\bar{\alpha}_{t-1}})x_{t-1}^2 + (\frac{-2\sqrt{\alpha_t}x_t }{\beta_t}+\frac{-2\sqrt{\bar{\alpha}_{t-1}}x_0}{1-\bar{\alpha}_{t-1}})x_{t-1} + C(x_t,x_0))$

后面顶不住了。。先歇着吧