随机过程总结(1)--一些基本概念

随机过程的定义

直观定义

随机过程是一组依赖于实参数t的随机变量，这个实参数可以取连续值也可以离散，记为$\{ X(t) ,t\in \mathbb R \}$ 或$\{X(n), n \in \mathbb N\}$

$Remark:$

• 随机过程中的过程二字，暗示了这个参数t通常表明的是时间
• 随机过程可以看作是一组随机变量(r.v.)由一种index串起来，这个index就是实参数t或n

更数学化的定义

设$(\Omega,\Sigma,P)$为一概率空间，其中$\Omega$为样本空间，$\Sigma$为事件域，P为定义在$\Sigma$上的函数，称随机变量族$X_T={X(t,w);t\in T}$为该概率空间上的一随机过程

用映射可以表示为:

$X(t,\omega): T \times \Omega \rightarrow R$

$Remark$:

• 概率论中，事件域为样本空间幂集的子集，即$\Sigma \subset 2^{\Omega}$
• 随机变量族的意思是"一串"随机变量
• X(t,w)通常简写为X(t)。但是心里要明白这个函数其实是一个二元函数。

1. X(t,w)中固定$t$时，X(t,w)得到了一个随机变量
2. X(t,w)中固定$\omega$时，X(t,w)就得到了一次"实现"，去除掉了随机性，称为一个样本函数

终极总结: 随机过程就是由一个index串起来的一串随机变量。这个index可以是连续的也可以是离散的，通常带有时间的含义

几何的视角来看随机变量

首先来复习下概率论中的"相关性"

图源: 张灏–随机过程–清华大学

在由上图中f(x,y)确定的(X,Y)的分布中，X与Y是独立的，因为任意固定x的值，y的分布没有变化。可见x与y独立

而在上图中，固定不同的x的值，会影响y的分布的变化，可见x与y并不独立

对于上图中纺锤形的分布函数，x与y也不是独立的(固定不同的x的值，y的分布会变化)，但是两者显然有一些相关性–随着x的增大，y在统计上也是增大的

相关系数，就是用来衡量这个纺锤胖瘦的量，相关系数越大，那么这个纺锤的线性度就越高

简单的线性回归

下面整一点简单的线性回归内容:

对于上图中的纺锤，我想找出一条直线最优的直线Y=aX，来刻画X与Y之间的关系，那么这个a的最优值是多少?结论如下

$欲寻求一个\alpha，即Y=\alpha X ，从而有\\\alpha_{opt}=argmin_{\alpha} E(Y-\alpha X)^2\\ 等号右边也就是均方误差\\结论是\alpha_{opt}=\frac{E(XY)}{E(X^2)}$

证明: //TODO

"相关"在概率论中的重要地位

对于两个R.V. 即X与Y, 其相关定义为

• 实数域上: E(XY)
• 复数域上: $E(X\overline Y)$

其中复数域上的定义蕴含了实数域中的定义。但是，在平常的讨论中，可以拿实数域上的定义进行分析，如果要变成复数域，只需要在分析过程中多写几根横线就可以了，这个区分并不本质

Remark：

• 实际上上面对相关的定义是针对X和Y为零均值的情况，也有很多时候是像下面这样定义的: E((X-EX)(Y-EY))=Cov(X, Y)，经过简单推导可以知道这种定义与上边定义的关系为:

E((X-EX)(Y-EY))=EXY - EXEY

也就是说，对于R.V.来说协方差和相关之间只相差一个常数，而这个相差的东西也并不本质，协方差和相关在概率论中的地位是等同的。一般来说，相关还是定义为E(XY)的形式

例:$X=cos(\theta)$ 和$Y=sin\theta$ 有一定的联系，即平方和为1，但是他们的相关EXY=0。这里定义的相关实际指的是线性相关

---

下面重点来了:

从几何的视角来看，相关运算可以定义为一种内积，即E(XY)=<X,Y>

一个运算想要称为内积, 需要满足如下性质

$\langle x, y\rangle: H \times H \rightarrow \mathbb{R}\\1. 共轭对称性 \langle x, y\rangle=\langle y, x\rangle\\ 2. 非负 \langle x, x\rangle \geqslant 0\\3. 非退化\langle x, x\rangle=0 \Leftrightarrow x=0$

$4.双线性\langle x, \alpha y+\beta z\rangle=\alpha(x, y z+\beta(x, z)$

$\langle x, \alpha y+\beta z\rangle=\alpha(x, y z+\beta(x, z)$ $\langle\alpha x+\beta y, z\rangle=\alpha(x, z)+\beta(y, z)$

可以验证，上述性质相关运算都是满足的。从而把随机变量嵌入到了内积空间中，不仅如此，随机变量还可以看作是向量

从而可以得到一些看起来不直观的结论，例如

• 随机变量X与随机变量Y之间的夹角的余弦

把内积变成相关，实际上，这个夹角的余弦就是相关系数

• 由于把R.V.可以看成是向量，从而甚至可以有柯西施瓦茨不等式

可见，相关运算在随机变量中相当于内积的地位，可见其重要性

相关函数

定义了R.V.的相关以后，自然可以定义随机过程的相关函数

• 自相关$R_X(t, s)=E(X(t)X(s))$
• 互相关$R_{XY}(t,s)=E(X(t)Y(s))$

因为相关函数是用相关运算定义的，从而也有相关的性质，以及内积的性质(共轭对称等等)

上面的相关函数是一个二元函数，能不能变成一个一元函数呢？是可以的，只需要假设X(t)与Y(t)为宽平稳过程即可

宽平稳过程也有一些独特的性质，这些性质都可以由内积的性质简单结合宽平稳的定义推出，不赘述