高斯回归过程python代码 高斯过程回归应用

文章目录

• 1.背景介绍

• 1.1 思维导图
• 1.2 详解Gaussian-Process

• 2.权重空间角度

• 2.1 回顾贝叶斯回归
• 2.2 核技巧引出
• 2.3 核技巧分析
• 2.4 小结

• 3.权重空间到函数空间

• 3.1 高斯过程定义
• 3.2 回顾权重空间贝叶斯角度
• 3.3 小结

• 4.函数空间角度

• 4.1 背景
• 4.2 已知联合概率求解条件概率
• 4.3 小结

1.背景介绍

高斯过程英文名为Gaussian-Process,这里得高斯指的是高斯分布，过程指的是随机过程，对于一维高斯分布来说，其概率密度函数为$P(x)=N(\mu,\sigma^2)$,如果对于高维高斯分布来说，就对应于高斯网络；如果当维度趋近于正无穷时，那么就是我们所说得高斯过程。

• 高斯过程定义(Gaussian-Process)
  高斯过程是定义在连续域上的无限多个高维随机变量所组成的随机过程。其中连续域一般指的是时间和空间上的连续

1.1 思维导图

1.2 详解Gaussian-Process

为了更好的说明高斯过程，我们用一个形象的例子去描述高斯过程，在此我们先定义如下数据

• 定义一组随机变量 $\{\xi_t\}$
  $\{\xi_t\}_{t\in T};T \rightarrow 连续域;$
  $如果对于任意\quad\forall n \in N^+,t_1,t_2,...,t_n \in T,满足 \quad s.t:\{\xi_1,\xi_2,...,\xi_n\}\triangleq \xi_{t_1-t_n}\sim N(\mu_{t_1-t_n},\Sigma{t_1-t_n}),故\quad \{\xi_t\}_{t\in T} 是高斯过程$
• 举例说明
  我们用小明的一生表示时间 t=[0,100],姑且他能活到100岁，则$t \in [0,100]$,对于每一个时刻 $\xi_t$服从高斯分布($\xi_t \sim N(\mu,\sigma^2)$),我们用 $\xi_t$ 表示这个人在人生的第 t 时刻的表现，且用定量的[0,100]来表示此刻表现值。且这个表现值在 $\xi_t$ 时刻也是服从高斯分布的。我们假定他的医生在 t = 0 时刻已经确定了，即在 t > 0 的每一个时刻，$(\mu_t,\sigma^2_t)$都是固定值。
• 整个高斯过程的样本生成
  为了描述小明的一生，我们需要在小明的人生的每一个时刻进行采样，这样得到的样本连线就是高斯过程的一个样本，假设有多个平行宇宙，那么我们可以分别在每个宇宙中采样得到样本连线来充当高斯过程的一个样本，即小明的每一个完整的人生就是高斯过程的一个样本，具体如下图红蓝线所示：
• 小结
  对于单个的 $\{\xi_t\}$来说，它是服从高斯分布的，对于由$\{\xi_1,\xi_2,\xi_3,...,\xi_t\}$组成的整个数据也是服从高斯分布的。
• 高斯过程数学表达式
  $GP[m(t),K(s,t)]$
  注：m(t)表示为mean-function；K(s,t)为covarience-function
  $m(t)=E[\xi_t];k(s,t)=E[(\xi_s-m(s)(\xi_t-m(t))^T)]\tag{1}$

2.权重空间角度

2.1 回顾贝叶斯回归

 贝叶斯回归分两个部分

• inference 部分
  $P(w|data)=N(\mu_w,\Sigma_w)\tag{2}$
  $\mu_w=\sigma^{-2}A^{-1}X^TY\tag{3}$
  $\Sigma_w=A^{-1};\quad A=\sigma^{-2}X^TX+\Sigma_p^{-1}\tag{4}$
• Prediction 部分
  $noise-free:\quad P(f(x^*)|data,x^*)=N({x^*}^T\mu_w,{x^*}^T\Sigma_wx^*)\tag{5}$
  $noise:\quad P(y^*|data,x^*)=N({x^*}^T\mu_w,{x^*}^T\Sigma_w{x^*}+\sigma^2)\tag{6}$
• Model 数学模型
  $f(x)=W^TX=X^TW\tag{7}$
  $y=f(x)+\varepsilon;\varepsilon \sim (0,\sigma^2)\tag{8}$
• noise-free
  $P(f(x^*)|x,y,x^*)\sim N({x^*}^T(\sigma^{-2}A^{-1}X^TY),{X^*}^TA^{-1}X^*)\tag{9}$
  $A=\sigma^{-2}X^TX+\Sigma^{-1}_p\tag{10}$

注：在贝叶斯线性回归中，此时的 f(x) 与 X 之间是线性回归的，那如果我们发现数学模型model不是线性回归怎么办？我们是不是希望有一个非线性转换来将非线性关系转换成线性关系。我们联想到支持向量机SVM中的核技巧，核技巧就是一种将非线性问题转换成线性问题的方案，所以我们最终就演变成了核技巧的贝叶斯线性回归，也就是高斯过程的本质；具体描述如下：

对于非线性转换来说，我们可以定义一个函数来表示从X 到 Z 通过函数进行转换，具体如下：

$if \quad\phi:x \mapsto z,x\in \mathbb{R}^p,z\in \mathbb{R}^q,z=\phi(x);q>p;\tag{11}$

那么我们可以定义$\phi(x)$

$\Phi(X)=(\phi(x_1),\phi(x_2),...,\phi(x_N))^T_{N\times q}\tag{12}$

$X=(x_1,x_2,...,x_N)^T,Y=(y_1,y_2,...,y_N)^T$

• 数学模型model更新如下：
  $f(x)=\phi(X)^Tw\tag{13}$
• 可得更新后的inference如下：
  $P(f(x^*)|X,Y,x^*)\sim N(\sigma^{-2}\phi(x^*)^T(A^{-1}\Phi(X)^TY),\phi(x^*)^TA^{-1}\phi(x^*))\tag{14}$
  $A=\sigma^{-2}\Phi(X)^T\Phi(X)+\Sigma_p^{-1}\tag{15}$

2.2 核技巧引出

对于上述公式，我们可得 $A=\sigma^{-2}\phi(X)^T\phi(X)+\Sigma_p^{-1}$,现在我们遇到的问题是如何计算 A 和 $A^{-1}$,现在我们引入一个新的公式如下：

• Woodbury Formula 公式
  $(A+UCV)^{-1}=A^{-1}-A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}\tag{16}$
  现在我们需要通过配方法去凑核技巧函数：
• 由 A 的定义可得：
  $A=\sigma^{-2}\Phi(X)^T\Phi(X)+\Sigma_p^{-1}\tag{17}$
• 两边同时乘以$\Sigma_p$可得如下：
  $A\Sigma_p=\sigma^{-2}\Phi(X)^T\Phi(X)\Sigma_p+I\tag{18}$
• 两边同时乘以 $\Phi(X)^T$可得：
  $A\Sigma_p\Phi(X)^T=\sigma^{-2}\Phi(X)^T\Phi(X)\Sigma_p\Phi(X)^T+\Phi(X)^T\tag{19}$
• 令 $K=\Phi(X)\Sigma_p\Phi(X)^T$
  $A\Sigma_p\Phi(X)^T=\sigma^{-2}\Phi(X)^T(K+\sigma^{-2}I)\tag{20}$
• 整理上述公式可得如下：
  $\sigma^{-2}A^{-1}\Phi(X)^T=\Sigma_p\Phi(X)^T(K+\sigma^{-2}I)^{-1}\tag{21}$
• 两边左乘以 $\phi(x^*)^T$，右乘 Y 可得如下：
  $\sigma^{-2}\phi(x^*)^TA^{-1}\Phi(X)^TY=\phi(x^*)^T\Sigma_p\Phi(X)^T(K+\sigma^{-2}I)^{-1}Y\tag{22}$
• 对比公式14 可得
  $\sigma^{-2}\phi(x^*)^TA^{-1}\Phi(X)^TY=P(f(x^*)|X,Y,x^*)’s Expectation \tag{23}$
  $\Sigma_p$是来自于p(w)的，$P(w)\sim N(0,\Sigma_p)$也为已知条件，所以期望可以求得，那么我们现在就剩下方差了。
  同理可以的方差如下：已知 A ，再求解 $A^{-1}$,最后代入即可：
• $P(f(x^*)|X,Y,x^*)’s \quad Covarience$
  $\phi(x^*)^T\Sigma_p\phi(x^*)-\phi(x^*)^T\Sigma_p\Phi(X)^T(K+\sigma^2I)^{-1}\Phi(X)\Sigma_p\phi(x^*)\tag{24}$
• 我们令 $P(f(x^*)|X,Y,x^*)\sim N(\mu_{new},\Sigma_{new})$
  $\mu_{new}=\phi(x^*)^T\Sigma_p\Phi(X)^T(K+\sigma^{-2}I)^{-1}Y\tag{25}$
  $\Sigma_{new}=\phi(x^*)^T\Sigma_p\phi(x^*)-\phi(x^*)^T\Sigma_p\Phi(X)^T(K+\sigma^2I)^{-1}\Phi(X)\Sigma_p\phi(x^*)\tag{26}$
• 对于期望 $\mu_{new}$,方差 $\Sigma_{new}$,来说，我们整理出核函数相关项，如下：
  $K=\Phi(X)\Sigma_p\Phi(X)^T;\quad\phi(x^*)^T\Sigma_p\Phi(X)^T\tag{27}$
  $\phi(x^*)^T\Sigma_p\phi(x^*)\quad \phi(x^*)^T\Sigma_p\Phi(X)^T;\quad \Phi(X)\Sigma_p\phi(x^*)\tag{28}$
• 注：我们定义过 $\Phi(X)=(\phi(x_1),\phi(x_2),....,\phi(x_N))^T_{ N\times q}$
  现在我们就有一个新的想法，是否有一个核函数作为以上相关项的通项，这样我们就避免求很多了。从而引出了我们需要用到的核技巧(Kernel-Trick)

2.3 核技巧分析

我们定义一个函数如下所示：
$K(x,x$
对于两个样本 x 和 x’ 来说，我们希望这个函数是满足核函数的相关性质，如果这个函数 K(x,x’)满足核函数，那么我们就很方便的处理上面的期望 $\mu_{new}$,方差 $\Sigma_{new}$.

• 定义 $\Sigma_{p}$是一个正定的对称矩阵，从而满足如下公式：
  $\Sigma_p=(\Sigma_p)^{1/2}·(\Sigma_p)^{1/2}\tag{30}$
• 将公式29进行整理可得：
  $K(x,x$
• 定义 $\psi(x)=(\Sigma_p)^{1/2}\phi(x)$,整理后可得如下：
  $K(x,x$
  综上所述，我们可以用核技巧来处理非线性转换问题，而避免去求 $\phi(X)$ 函数。而是直接用函数 K(x,x’)来直接进行低维空间到高维空间的转换。这样就很神奇了，我们不需要管具体的内在函数 $\phi(X)$

2.4 小结

• 思维导图如下：

对于高斯过程回归GPR来说，如果我们从权重空间角度来看待这个问题，那么就相当于贝叶斯线性回归背景下的核技巧方法。贝叶斯线性回归加上核技巧中包含了非线性转换和内积公式。因为有了核技巧，那么我们就不需要直接求解 $\phi(x)$

• 权重空间角度：
  对于此角度来说，我们知道数学模型如下：
  $f(x)=W^TX\tag{33};\quad y=f(x)+w$
  此时的研究对象是 W ，我们假设 W 为一个随机变量分布，我们需要求得在给定数据下的关于w的后验分布。
• 函数空间角度
  对于函数空间角度来说，我们的研究对象变成了$f(x)$为随机变量 ,满足如下条件：
  $f(x)\sim GP(m(x),K(x,x$
• 相互关系
  Gaussian Process Regress is the extension of Bayesian-Linear-Regression with kernel trick；具体来说就是，当我们要用贝叶斯线性回归解决分类问题时，发现这个遇到的问题居然是非线性问题，那我们只好进行非线性转换，那怎么转换了？此时我们脑洞大开，能不能用之前在支持向量机中的核技巧的方式来找到一个核技巧函数，从而来一步到位的把非线性问题转换成线性问题，最后我们发现真的可以解决上述问题，以上就是权重空间角度在高斯过程回归的主要思路。

3.权重空间到函数空间

3.1 高斯过程定义

• 高斯过程定义(Gaussian-Process)
  高斯过程是定义在连续域上的无限多个高维随机变量所组成的随机过程。其中连续域一般指的是时间和空间上的连续
  $\{\xi_t\}_{t\in T},\quad if \quad \forall n\in N^+,\underbrace{\{t_1,t_2,...t_n\}}_{index}\mapsto \{\xi_1,\xi_2,...,\xi_n\}\tag{35}$
• 我们令 $\xi_{1:n}=(\xi_1,\xi_2,...,\xi_n)^T$,如果满足如下高斯分布
  $\xi_{1:n}\sim N(\mu_{1:n},\Sigma_{1:n})\tag{36}$
• 那么就符合高斯过程
  $\{\xi_t\}_{t\in T} \quad is \quad Gaussian \quad Process \tag{37}$
• 高斯过程性质如下：
  $\{\xi_t\}\sim GP[m(t),K(t,s)]\tag{38}$
  注： $m(t)$ : mean-function ; $K(t,s)$= covarience-function(核函数);详见高斯过程存在性定理

3.2 回顾权重空间贝叶斯角度

我们知道贝叶斯回归的数学模型如下：( 关注对象为 W )
$f(x)=\phi(x)^TW;\quad y=f(x)+\varepsilon;\quad \varepsilon\sim(0,\sigma^2)\tag{39}$
当我们用贝叶斯方法的时候，我们先给定一个先验 $W\sim N(0,\Sigma_p)$ ,因为$f(x)=\phi(x)^TW$,所以，我们可以求解关于 $f(x)$的期望E(f(x))和协方差$cov(f(x),f(x$

• 关于f(x)的期望 E[f(x)]
  $E(f(x))=E(\phi(x)^TW)=\phi(x)^TE(W)=\phi(x)^T·0=0\tag{40}$
• 关于f(x)的协方差$cov(f(x),f(x$
  $\forall x,x$
  $=E[\{f(x)-E[f(x)]\}\{f(x$
• 因为$E(f(x))=E(f(x$
  $cov(f(x),f(x$
• 因为 $\phi(x$结果为一维的数，所以可得：$\phi(x$
  $cov(f(x),f(x$
• $E[W·W^T]=D(W)=\Sigma_p,W\sim(0,\Sigma_p)$
  $cov(f(x),f(x$
  这个结果是不是很神奇，居然是我们在上面讲解的核技巧函数(Kernel-Trick)
• 定义 $\psi(x)=(\Sigma_p)^{1/2}\phi(x)$,整理后可得如下：
  $K(x,x$
• 小结：
  我们惊奇的发现一个问题，当我们定义$f(x)$为随机变量的时候，得到如下公式：
  $P(f(x))\sim N(0,\phi(x)^T\Sigma_p\phi(x$
  这个分布是不是就跟我们高斯过程的定义一摸一样，详见公式38。

3.3 小结

当$x\in \mathbb{R}^P$时，我们发现$\{f(x)\}$组成的一系列随机变量，可以看作是一个高斯过程。
$f(x)\sim GP(m(t)=0,K(s,t)=K(x,x$
注：$f(x)$是一个函数，$f(x)$是一个服从高斯分布的随机变量

• 对比：
  $t\rightarrow\{\xi_t\}_{t\in T}\sim GP$
  $x\rightarrow\{f(x)\}_{x\in \mathbb{R}^p}\sim GP$
  是不是很神奇。
  如果是高斯过程回归，我们从权重空间角度来分析，我们关注的是参数 W，如果是从函数空间角度，我们关注的函数 $f(x)$
• 权重空间角度的预测问题 $x^*\rightarrow y^*$
  $P(y^*|data,x^*)=\int_w P(y^*|w,x^*)·P(w)dw\tag{49}$
• 函数空间角度的预测问题 $x^*\rightarrow y^*$
  $P(y^*|data,x^*)=\int_{f(x)} P(y^*|f(x),x^*)·P(f(x))df(x)\tag{50}$

4.函数空间角度

4.1 背景

对于函数空间角度来看，我们研究的是函数 $f(x)$,使得满足如下：
$\{f(x)\}_{x\in\mathbb{R}^p}\sim GP(m(x),K(x,x$
$m(x)=E[f(x)];\quad K(x,x$
为了方便后续的计算，我们定义如下数据：
$X=(x_1,x_2,...,x_N)^T,Y=(y_1,y_2,...,y_N);data=\{(x_i,y_i)\}_{i=1}^N\tag{53}$
因为 f(x) 也服从高斯过程，则可得如下性质：
$f(x)\sim N(\mu(x),K(x,x$
对于数学模型来说 ：$Y=f(x)+\varepsilon;\quad\varepsilon\sim N(0,\sigma^2)$,由此可得如下：
$Y\sim N(\mu(x),K(x,x$

• 模型的目标
  那么我们对应于新的数据 $X^*=(x_1^*,x_2^*,...,x^*_N)$,我们的目的是要找到新的 $Y^*$ ;
  $Y^*=X^*+\varepsilon\tag{56}$
• 思路
  我们的思路是先找到 $Y 与 f(x^*)$的联合概率密度，在根据联合概率密度求解条件概率的方式直接求得结果；
• 详细过程如下：
  我们定义一个由 Y 和 f(x) 组成的联合概率，具体如下：
  $\begin{pmatrix} Y\\\\f(x^*)\\ \end{pmatrix}\sim N( \begin{pmatrix} \mu(x)\\\\\mu(x^*)\\ \end{pmatrix},\begin{pmatrix} K(x,x$
• 注:我们令 $Y=X_a\quad;f(x^*)=X_b$

我们来回忆一下以前讲过的根据联合概率密度求解条件概率的例子，详见链接14-高斯分布基础知识

4.2 已知联合概率求解条件概率

• 已知条件：
  $X= \begin{pmatrix} x_a\\\\x_b \end{pmatrix};\mu= \begin{pmatrix} \mu_a\\\\\mu_b \end{pmatrix};\Sigma= \begin{pmatrix} \Sigma_{aa}&\Sigma_{ab}\\\Sigma_{ab}&\Sigma_{bb} \end{pmatrix};\Sigma_{ab}=\Sigma_{ba}^T \tag {57}$
• 结论：
  $P(x_b|x_a)\sim N(\mu_{b|a},\Sigma_{b|a})\tag{58}$
  $\mu_{b|a}=\Sigma_{ba}\Sigma_{aa}^{-1}(x_a-\mu_a)+\mu_b\tag{59}$
  $\Sigma_{b|a}=\Sigma_{bb}-\Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab}\tag{60}$
• GP结果分析
  我们要求的是$P(f(x^*)|Y,X,x^*)$,因为 $Y=\phi(X)^TW+\varepsilon;$所以 Y 里面就包含了 X，因为$f(x^*)$包含了 $x^*$ ,所以也可以忽略，即可得如下：
  $P(f(x^*)|Y,X,x^*)=P(f(x^*)|Y)\tag{61}$
  结果求解条件概率如下：
  $\mu^*=K(X^*,X)(K(X,X)+\sigma^2I)^{-1}(Y-\mu(X))+\mu(X^*)\tag{62}$
  $\Sigma^*=K(X^*,X^*)-K(X^*,X)(K(X,X)+\sigma^2I)^{-1}K(X,X^*)\tag{63}$
• 整理后可得：
  $P(f(x^*)|Y,X,x^*)=N(\mu^*,\Sigma^*)\tag{61}$
• 由模型可得 $Y^*=f(x^*)+\varepsilon;\quad \varepsilon\sim N(0,\sigma^2)$
  $\mu^*_y=K(X^*,X)(K(X,X)+\sigma^2I)^{-1}(Y-\mu(X))+\mu(X^*)\tag{62}$
  $\Sigma^*_y=K(X^*,X^*)-K(X^*,X)(K(X,X)+\sigma^2I)^{-1}K(X,X^*)+\sigma^2I\tag{63}$
  $P(f(y^*)|Y,X,x^*)=N(\mu_y^*,\Sigma_y^*)\tag{64}$

4.3 小结

对于高斯过程来说，不管是从权重空间角度还是从函数空间角度来看，最终得到的结果都是一样的，只不过当我们用函数空间角度来思考分析高斯过程时，整个过程是比较简单的。