机器学习 高斯噪声 高斯噪声参数估计

文章目录

• 1、标量估计

• （1）情况1: 只有X的PDF可知
• （2）情况2: 与X相关的随机变量Y的观测值可知

• 2、实向量空间中的估计
• 3、复向量空间中的估计

1、标量估计

  若我们有观测量
$y=x+w,$其中$w\sim \mathcal{N}(0,\frac{N_0}{2})$，为了从独立的AWGN中获得零均值实信号$x$的估值$\hat x$，我们采用MSE估计，即
${\rm MSE}:={\mathbb E}[(x-{\hat x})^2]，$这里的平均既是针对随机信号$x$的，也是针对噪声$w$的。估计问题与高斯噪声中的检测问题有很大不同，因为检测是要在有限种可能中做出判断，而估计问题却是要获得估计值。
  下面我们先从无观测时的估计出发，随后再讨论有观测的情况。

（1）情况1: 只有X的PDF可知

$X$，想要对其进行估计，假定其PDF$p_{\rm X}(x)$已知，则其MSE为
${\rm MSE}={\mathbb E}[(X-{\hat x})^2]=\int{(x-{\hat x})^2p_{\rm X}(x)}dx.$为了最小化MSE，我们求其关于$\hat x$的一阶导数，有
$-2\int{(x-{\hat x})p_{\rm X}(x)}dx=0，$因此
$\int {{\hat x}p_{\rm X}(x)}dx=\int {xp_{\rm X}(x)}dx，$即${\hat x}={\mathbb E}[X]$。进一步，我们求MSE关于$\hat x$的二阶导数，有
$2\int{p_{\rm X}(x)}dx=2>0，$即当${\hat x}={\mathbb E}[X]$时，MSE最小。这样我们可以得到最小MSE为
${\rm MSE}={\mathbb E}[(X-{\hat x})^2]={\mathbb E}[(X-{\mathbb E}[X])^2]={\rm var}[X].$

【小结】如果我们知道随机变量$X$的PDF，则当其估计值${\hat x}={\mathbb E}[X]$时候，能够得到最小MSE，这个最小MSE就是$X$的方差。

（2）情况2: 与X相关的随机变量Y的观测值可知

  若我们有观测量
$Y=X+W,$其中$W\sim \mathcal{N}(0,\frac{N_0}{2})$为独立的AWGN，则可以用后验概率密度函数$p_{\rm X|Y}(x|y)$来代替$p_{\rm x}(x)$。现在我们的目标是最小化
${\rm MSE}:={\mathbb E}[(X-{\hat x(y)})^2|Y=y]=\int{(x-{\hat x(y)})^2p_{\rm X|Y}(x|y)}dx，$这里我们引入${\hat x}(y)$是想表示与测量值$Y$的特定取值$y$相关联的估计值$\hat x$（这意味着不同的$y$会有不同估计值$\hat x$)，不过为了表达式看起来更简洁，下文中我们用$\hat x$代替$\hat x(y)$。与无测量情况相同，我们求一阶导数：
$-2\int{(x-{\hat x})p_{\rm X|Y}(x|y)}dx=0,$因此可以得到
${\hat x}=\int{xp_{\rm X|Y}(x|y)}dx={\mathbb E}[X|Y=y].$与之相关的MMSE为条件方差$\sigma_{\rm Y|X}^2$。显然与无测量时的唯一区别在于，我们将测量值作为条件。

【小结】如果我们知道与随机变量$X$相关的随机变量$Y=y$（观测量），则当$X$的估计值${\hat x}={\mathbb E}[X|Y=y]$时候，能够得到最小MSE，这个最小MSE就是条件方差$\sigma_{\rm Y|X}^2$。

  下面我们来说明问什么MMSE估计器具有正交性质，即误差与观测量独立：
${\mathbb E}[(X-\hat x)Y]=0.$

证明：
  由于$\hat x$为$X$的估计值，因此有
${\mathbb E}_{\rm XY}[{\hat x}Y]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{\hat x}yp_{\rm X,Y}(x,y)dxdy$$=\int_{-\infty}^{\infty}yp_{\rm y}(y)[\int_{-\infty}^{\infty}{\hat x}p_{\rm X|Y}(x|y)dx]dy,$对于MMSE估计，由于${\hat x}={\mathbb E}[X|Y=y]$，因此有
${\mathbb E}_{\rm XY}[{\hat x}Y]=\int_{-\infty}^{\infty}yp_{\rm y}(y)[\int_{-\infty}^{\infty}{ x}p_{\rm X|Y}(x|y)dx]dy$$=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{x}yp_{\rm X,Y}(x,y)dxdy={\mathbb E}_{\rm XY}[XY].$故可以得到
${\mathbb E}_{\rm XY}[({X-\hat x})Y]=0.$获证。

$\hat x$就是$X$在$Y=y$时候的条件均值，即${\hat x}={\mathbb E}[X|Y=y]$。一般来说，条件均值算子${\mathbb E}[X|y]$是关于$y$的复杂非线性函数。为了简化分析，我们假定该算子是线性的，由于$x$的均值为零，则有${\hat x=cY}。事实上，$当$x$是高斯随机变量时，这个假定不失一般性，因为在这种情况下，条件平均算子确实是线性的。
  下面我们来看如何获得$c$？由MMSE的正交性可以得到
${\mathbb E}[(X-cY)Y]=0,$因此，有
${\mathbb E}[X^2]=c{\mathbb E}[X^2]+c{\mathbb E}[W^2],$故
$c=\frac{{\mathbb E}[X^2]}{{\mathbb E}[X^2]+{N_0}/{2}}.$对该结果直觉上的理解是，我们用发送信号能量(${\mathbb E}[X^2]$)在总接收能量(${\mathbb E}[X^2]+{N_0}/{2}$)中所占的比例大小，对接收信号$y$进行加权。此时相应的MMSE为
${\mathbb E}[(X-\hat x)^2]={\mathbb E}[(X-cY)^2]=c\cdot\frac{N_0}{2} ,$即
${\rm MMSE:}\ \frac{{\mathbb E}[X^2]\cdot \frac{N_0}{2}}{{\mathbb E}[X^2]+{N_0}/{2}}.$

2、实向量空间中的估计

$X$，即
${\bf y}={\bf h}x+{\bf w},$这里的$x$与${\bf w}\sim {\mathcal N}(0,\frac{N_0}{2}{\bf I})$相互独立，${\bf h}\in {\mathbb R}^n$。已知$\bf y$到$\bf h$方向上的映射
$\tilde y=\frac{{\bf h}^{\rm T}{\bf y}}{||\bf h||^2}=x+w$是充分统计量，这是因为$\bf y$到与$\bf h$正交方向上的映射与信号$x$以及$w$($\bf h$方向上的噪声)都正交。这样我们就可以将问题变为标量估计：从$\tilde y$中估计$x$，其中$w\sim {\mathcal N}(0,\frac{N_0}{2||{\bf h}||^2})$。因此，应用MMSE估计，可以得到$x$的最优线性估计为
${\hat x}=\frac{{\mathbb E}[X^2]||{\bf h}||^2}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}/{2}}{\tilde y},$根据$\hat x={\bf c}^{\rm T}{\bf y}$，可得
${\bf c}=\frac{{\mathbb E}[X^2]}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}/{2}}{\bf h},$以及
${\rm MMSE}=\frac{{\mathbb E}[X^2]\cdot \frac{N_0}{2}}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}/{2}}.$
另外一种衡量线性估计器性能的指标是信噪比
${\rm SNR}:=\frac{({\bf c}^{\rm T}{\bf h})^2{\mathbb E}[x^2]}{||{\bf c}||^2\cdot \frac{N_0}{2}},$定义为估计中信号能量与噪声能量的比值，这是由$\hat x={\bf c}^{\rm T}{\bf y}$得到的。

3、复向量空间中的估计

  将我们的讨论扩展到复数域是很自然的。我们首先考虑复数标量估计
$y=x+w,$这里$w\sim {\mathcal CN}(0,N_0)$与零均值发送信号$x$独立。假定线性估计$\hat x=c^*y$，有
${\rm MSE}={\mathbb E}[|x-\hat x|^2]$$c=\frac{{\mathbb E}[|x|^2]}{{\mathbb E}[|x|^2]+{N_0}},$${\rm MMSE}=\frac{{\mathbb E}[X^2]N_0}{{\mathbb E}[X^2]+{N_0}}.$
  MMSE的正交性为${\mathbb E}[(\hat x -x)y^*]=0.$
  下面考虑如何在复向量空间里估计标量$x$
${\bf y}={\bf h}x+{\bf w},$其中$w\sim {\mathcal CN}(0,N_0{\bf I})$与$x$独立，且${\bf h}\in \mathcal{C}^n.$与实向量空间类似，我们可以得到
$\tilde y=\frac{\bf h^{\rm H}y}{||{\bf h}||^2}=x+w,$其中，$w\sim{\mathcal CN}(0,\frac{N_0}{||{\bf h}||^2})$。因此，最优估计器为
${\bf c}=\frac{{\mathbb E}[X^2]}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}}{\bf h},$以及
${\rm MMSE}=\frac{{\mathbb E}[X^2]\cdot {N_0}}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}}.$