这部分总结简单总结下随机过程的时域分析和谱分析

相关函数的性质

  1. 对称性: 这是因为内积有对称性 RX​(t,s)=RX​(s,t)
  2. Cauchy-Schwarz不等式

∣ ⟨ u , v ⟩ ∣ 2 ≤ ⟨ u , u ⟩ ⋅ ⟨ v , v ⟩ |\langle\mathbf{u}, \mathbf{v}\rangle|^{2} \leq\langle\mathbf{u}, \mathbf{u}\rangle \cdot\langle\mathbf{v}, \mathbf{v}\rangle ∣⟨u,v⟩∣2≤⟨u,u⟩⋅⟨v,v⟩

对应随机变量的形式为: ∣ E ( X Y ) ∣ 2 ≤ E ( X 2 ) E ( Y 2 ) |\mathrm{E}(X Y)|^{2} \leq \mathrm{E}\left(X^{2}\right) \mathrm{E}\left(Y^{2}\right) ∣E(XY)∣2≤E(X2)E(Y2)

上式的形式也可以写为方差不等式 ∣ Var ⁡ ( X , Y ) ∣ 2 ≤ Var ⁡ ( X ) Var ⁡ ( Y ) |\operatorname{Var}(X, Y)|^{2}\leq \operatorname{Var}(X) \operatorname{Var}(Y) ∣Var(X,Y)∣2≤Var(X)Var(Y)

两个变量的方差一般换个符号，不用Var而用Cov，也即 ∣ Cov ⁡ ( X , Y ) ∣ 2 ≤ Var ⁡ ( X ) Var ⁡ ( Y ) |\operatorname{Cov}(X, Y)|^{2}\leq \operatorname{Var}(X) \operatorname{Var}(Y) ∣Cov(X,Y)∣2≤Var(X)Var(Y)

对应随机过程的形式为: ∣ R X ˉ ( t ⋅ s ) ∣ ⩽ ( R X ˉ ( t ⋅ t ) R Y ( s ⋅ s ) ) 1 2 \left|R_{\bar{X}}(t \cdot s)\right| \leqslant\left(R_{\bar{X}}(t \cdot t) R_{Y}(s \cdot s)\right)^{\frac{1}{2}} ∣RXˉ(t⋅s)∣⩽(RXˉ(t⋅t)RY(s⋅s))21

  1. 对于宽平稳过程，对称性可以进一步进化:

R X ( t ) = R X ( − t ) R_X(t)=R_X(-t) RX(t)=RX(−t)

  1. 对于宽平稳过程，Cauchy-Schwarz不等式可以进一步进化:

∣ R X ˉ ( τ ) ∣ ⩽ R X ˉ ( 0 ) \left|R_{\bar{X}}(\tau)\right| \leqslant R_{\bar X}(0) ∣RXˉ(τ)∣⩽RXˉ(0)

即: 相关函数在0点取得最大值

这个意义很明显: 一个信号和他自己在对齐时是最相似的。在设计信号时，我们还常常希望其相关函数在0点以外快速衰落。例如现在的CDMA信号就是如此，其图像像一根针一样

  1. 相关函数有正定性，即为正定函数

概率和统计的分野

概率与统计实际上是两套完全不同的思想，只是他们用了同一套符号



Statistic


Probability


big data


Data


Model


Decision



从数据到模型: 这个过程称为统计

从模型到决策(预测): 这个过程称为概率

从数据直接到决策: 这个过程称为大数据

随机过程的随机性在哪里?

随机过程定义在一个三元组上 ( Ω , Σ , P ) (\Omega, \Sigma,P) (Ω,Σ,P)，这三者都是完全先验的(Prior)，其实没有随机性，这些先验的东西可以称作"知识"

而随机变量定义在 Ω → R \Omega\rightarrow\mathbb{R} Ω→R上，实际上它起到的是量化(Quantization)的作用，把一个个无法计算的事件映射称为数。随机变量本身也没有任何随机性，是一个完全确定的映射。真正随机的地方在于现实的抽样

随机过程的谱分解

什么叫谱分解? 其实就是把某个函数用另一个维度的量表示出来，例如傅里叶变换: 就是把函数用sin和cos或指数函数表示出来

对于确定性信号，我们可以用傅里叶变换完成谱分解

但是对于随机信号，我们想和对确定性信号一样完成分解。但这个过程在数学上会有困难(参考教科书)。从而有两条路

  1. 随机信号的某个"特征"进行谱分解
  2. 添加一些限制条件，从而进行谱分解

道路1

上面的1.这条道路导出了维纳–辛钦关系。也即对随机信号的相关函数进行傅里叶变换: 随机过程的相关函数和其功率谱密度为一对傅里叶变换

{ S x ( ω ) = ∫ − ∞ ∞ R x ( τ ) ⋅ e − j ω τ d τ R x ( τ ) = 1 2 π ∫ − ∞ ∞ S x ( ω ) e j ω τ d ω . \left\{\begin{array}{l}S_{x}(\omega)=\int_{-\infty}^{\infty} R_{x}(\tau) \cdot e^{-j \omega \tau} d \tau \\ R_{x}(\tau)=\frac{1}{2 \pi} \int_{-\infty}^{\infty} S_{x}(\omega) e^{j \omega \tau} d \omega .\end{array}\right . {Sx(ω)=∫−∞∞Rx(τ)⋅e−jωτdτRx(τ)=2π1∫−∞∞Sx(ω)ejωτdω.

说明:

  1. 功率谱密度为二阶量，也就是对随机过程X取线性倍a，则功率谱密度变为a平方倍，也没有线性性
  2. 实信号的功率谱密度为偶函数(类似于实信号的傅里叶变换为偶函数，实际是因为实信号没有负频率，实际上在变换上让他们对称)
  3. 功率谱密度的横轴量纲为W/Hz，也就是每个频率上的功率(可以通过一些数学上的分析得到)
  4. 随机过程通过LTI系统时，功率谱密度前后有如下变化关系:

S Y = S X ( ω ) ∣ H ( ω ) ∣ 2 S_{Y}=S_{X}(\omega)|H(\omega)|^{2} SY=SX(ω)∣H(ω)∣2

道路2

道路2即谱表示定理

X ( t ) = ∫ − π π e j t λ d Z ( ω ) X(t)=\int_{-\pi}^{\pi} e^{j t \lambda} d Z(\omega) X(t)=∫−ππejtλdZ(ω)

其中X(t)为0均值的宽平稳随机过程， Z ( ω ) Z(\omega) Z(ω)为正交增量过程