python 高斯分布求概率 高斯分布计算

机器学习笔记之高斯过程——基本介绍

• 引言

• 高斯过程简单介绍
• 高斯过程的参数描述

引言

从本节开始，将介绍高斯过程。

高斯过程简单介绍

高斯过程(Gaussian Process)，从名字中很明显，它是一种和高斯分布相关的随机过程(Stochastic Process)。
从一维高斯分布开始，此时只有一个一维随机变量$x_1$，它服从的高斯分布可表示为：
$\mathcal P(x_1) \sim \mathcal N(\mu,\sigma^2) = \frac{1}{\sigma\sqrt{2\pi}} \exp [- \frac{(x - \mu)^2}{2\sigma^2}]$
如果样本并不是一个特征，而是多个特征，并且这些特征均服从高斯分布。假设对应的随机变量集合$\mathcal X = \{x_1,x_2,\cdots,x_p\}$，那么$\mathcal X$服从的是一个多元高斯分布：
$\mathcal P(\mathcal X) \sim \mathcal N(\mu,\Sigma) = \frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}} \exp \left\{- \frac{1}{2} (\mathcal X - \mu)^T \Sigma^{-1}(\mathcal X - \mu)\right\}$
在高斯网络基本介绍中，这个多元高斯分布描述了$\mathcal X$内部各随机变量之间的条件独立性，并且这些条件独立性信息由精度矩阵(Precision Matrix)记录。
很明显，这是一个静态概率图模型，高斯网络中的节点数量与$\mathcal X$中随机变量的数量相关。

而高斯过程可以理解为联合正态分布的无限维广义延伸。但这里的无限维是指从时间、空间等连续域中产生的维度。以时间为例，一段连续时间内，可能包含若干个状态，而每个状态的随机变量均服从高斯分布。并且每个状态的随机变量不一定是一维的，也可能是高维的。

因此，可以将高斯过程其理解为：在连续域上的无限多个高维随机变量组成的随机过程。和之前介绍的马尔可夫链相似，这里的连续域通常指时间、空间，或者是指抽象的时间，例如序列。

对场景进行如下构建：

• 假设时间$\mathcal T$表示某个连续域，而$t$表示连续域$\mathcal T$中的某个时刻。
  $t$是对连续域$\mathcal T$宏观时刻的一种表示。
• 这个连续域$\mathcal T$中可能包含很多时刻，用$t_i(i=1,2,\cdots)$表示不同时刻。
• 每个时刻$t_i$均对应一个随机变量，这个随机变量有可能是一维的，有可能是高维的。记作$\xi_{t_i}$。

将连续域$\mathcal T$的 随机变量集合表示为$\{\xi_{t}\}_{t \in \mathcal T}$，高斯过程可定义为：
如果$\forall n \in N^+,t_1,t_2,\cdots,t_n \in \mathcal T$，满足随机变量集合$\{\xi_{t_1},\xi_{t_2},\cdots,\xi_{t_n}\} = \xi_{t_1\to t_n} \sim \mathcal N(\mu_{t_1 \to t_n},\Sigma_{t_1 \to t_n})$，那么称$\{\xi_{t}\}_{t \in \mathcal T}$是一个高斯过程。

高斯过程的参数描述

已知高斯过程$\{\xi_{t}\}_{t \in \mathcal T}$，其中$\mathcal T$表示某连续域，$t$表示连续域中的时刻。假设$t$时刻的随机变量是$\xi_{t}$，那么$\xi_{t}$的表示(Representation)如下：
$\xi_t \sim \mathcal N(\mu_t,\Sigma_t)$
假设这个连续域$\mathcal T$中包含$N$个时刻：$\mathcal T = \{t_1,t_2,\cdots,t_N\}$，因而我们会得到$N$个随机变量：
$\{\xi_{t}\}_{t \in \mathcal T} = \underbrace{\{\xi_{t_1},\xi_{t_2},\cdots,\xi_{t_N}\}}_{N} \quad \begin{cases} \xi_{t_1} \sim \mathcal N(\mu_{t_1},\Sigma_{t_1}) \\ \xi_{t_2} \sim \mathcal N(\mu_{t_2},\Sigma_{t_2}) \\ \cdots \\ \xi_{t_N} \sim \mathcal N(\mu_{t_N},\Sigma_{t_N}) \end{cases}$
继续假设，每一时刻的期望结果$\mu_{t_i}(i=1,2,\cdots,N)$和方差结果$\Sigma_{t_i}(i=1,2,\cdots,N)$均是给定的。此时对$t_1$时刻的高斯分布进行随机采样，采到的结果记作$r_{t_1}$：
需要注意的是，这个采样采的不是‘概率密度函数的概率结果’，而是概率密度函数对应特征描述的结果。$\mathcal N(\mu_{t_1},\Sigma_{t_1}) \to r_{t_1}$
同理，其他时刻同样进行随机采样，并构成一个样本集合：
$\{r_{t_1},r_{t_2},\cdots,r_{t_N}\}$
将这个有序的样本集合在以连续域、特征描述结果所构成的的空间中手尾相连，得到一条曲线；而这条曲线就是高斯过程的一个样本。
这里需要解释一下：由于$\mathcal T$是连续的，真实条件下可能存在无穷多个时刻。因此这个样本序列必然不可能是对所有时刻进行采样。仅通过‘实际问题’中重要的时刻进行采样。

至此，根据上述定义，高斯过程$\{\xi_{t}\}_{t \in \mathcal T}$中不仅每个时刻$t_i$的随机变量$\xi_{t_i}$服从高斯分布，并且$\mathcal T$中任意连续时刻$\{\xi_{t_{i}},\xi_{t_{i+1}},\xi_{t_{i+2}},\cdots,\xi_{t_{i+m}}\}_{t_i,\cdots,t_{i+m} \in \mathcal T}$同样服从多元高斯分布。

因此，一个高斯过程具体由两个函数决定：

• 均值函数(Mean Function)：具体表示为 某时刻随机变量的期望结果。
  $m(t) = \mathbb E[\xi_t] \quad t \in \mathcal T$
• 协方差函数(Covariance Function)，也称作核函数(Kernal Function)：具体表示为 两时刻随机变量的协方差信息(协方差标准定义)
  $\begin{aligned} \kappa(s,t) & = \mathbb E \left[(\xi_s - m(s))\text{ }(\xi_t - m(t))^T\right]\\ & = \mathbb E \left[(\xi_s - \mathbb E[\xi_s])\text{ }(\xi_t - \mathbb E[\xi_t])^T\right] \quad s,t \in \mathcal T \end{aligned}$