空间自相关回归 空间自回归模型公式

文章目录

七、自回归模型 A R ( p ) {\rm AR}(p) AR(p)

• 1.自回归模型的定义

2. A R ( p ) {\rm AR}(p) AR(p)序列的求解与平稳解唯一性

3. A R ( p ) {\rm AR}(p) AR(p)模型平稳解的性质讨论

4.特例： A R ( 1 ) {\rm AR}(1) AR(1)序列

• 回顾总结

七、自回归模型${\rm AR}(p)$

1.自回归模型的定义

上一篇中，我们对自回归模型的基础——推移算子、常系数线性差分方程进行了介绍，但什么是自回归模型呢？现在我们就对自回归模型进行定义。

${\rm AR}(p)$模型：如果$\{\varepsilon_t\}$是零均值白噪声${\rm WN}(0,\sigma^2)$，实数$a_1,\cdots,a_p$使得多项式$A(z)$的零点都落在单位圆外，即
$A(z)=1-\sum_{j=1}^p a_jz^j\ne0,\quad |z|\le 1.$
则称$p$阶差分方程$A(\mathscr B)X_t=\varepsilon_t$是一个$p$阶自回归模型，简称为${\rm AR}(p)$模型，也就是
$X_t=\sum_{j=1}^p a_jX_{t-j}+\varepsilon_t.$
满足${\rm AR}(p)$模型的平稳序列$\{X_t\}$称为${\rm AR}(p)$序列，$\boldsymbol a=(a_1,\cdots,a_p)$为${\rm AR}(p)$模型的自回归系数，$A(z)$的零点都在单位圆外这一条件被称为稳定性条件或最小相位条件。

这里一下提出了许多定义，我们不妨分开看看这些条件。首先，从${\rm AR}(p)$模型的形式来看，它是一个非齐次线性差分方程，且非齐次项为零均值白噪声，因此表现形式十分简洁，为$A(\mathscr B)X_t=\varepsilon_t$；自然而然地，自回归系数就是$A(z)$的可变量，它唯一地决定了${\rm AR}(p)$序列的形式。

而$A(z)$也不是随便取一个$p$次多项式就行的，它的常数项为1，并且最重要的条件是所有零点位于单位圆外。从我们对差分方程解的讨论可以知道，所有零点位于单位圆外，能让它对应的齐次差分方程的任何一个解都以负指数阶收敛到0（参见上一篇笔记）；而非齐次差分方程的通解，又由特解加上齐次差分方程通解构成，这样随着时间的增长，齐次差分方程通解对非齐次差分通解的影响是可以忽略的，只需要考虑特解即可。

2.${\rm AR}(p)$序列的求解与平稳解唯一性

既然我们只需要考虑特解，那自然要想办法求得这个这个方程的特解。在上一篇中我们跳过了推移算子相关性质的证明，事实上，对于绝对收敛的级数$A(z)=\sum\limits_{j=-\infty}^\infty a_jz^j,B(z)=\sum\limits_{j=-\infty}^\infty b_jz^j$，其乘积是有意义的，且依然是一个级数$D(z)=A(z)B(z)=\sum\limits_{j=-\infty}^\infty d_jz^j$，这里$d_j=\sum\limits_{k=-\infty}^\infty a_kb_{j-k}$。这样，我们就有
$D(\mathscr B)X_t=A(\mathscr B)[B(\mathscr B)X_t]=B(\mathscr B)[A(\mathscr B)X_t].$
这里引入这个性质是为了什么呢？想象我们有一个级数$B(z)=1/A(z)=\sum\limits_{j=-\infty}^\infty \psi_jz^j$，如果它是绝对收敛的，那么将$A(\mathscr B)X_t=\varepsilon_t$等式两边同时乘上这个$B(\mathscr B)$，就得到$X_t=B(\mathscr B)\varepsilon_t$，也就得到方程的特解，这样一来，对方程的特解计算就容易得多了。那么，唯一的任务是证明这个级数$B(z)$是绝对收敛的，我们记这个级数为$A^{-1}(z)$。

由于$A(z)$的所有根都在单位圆外，即$|z_j|=\rho_j>1,\forall j$，那么存在一个$\rho\in(1,\min\limits_j\rho_j)$，$A(z)$在$[0,\rho]$上不等于0，就使得$A^{-1}(z)=1/A(z)$在$[0,\rho]$上是解析函数，可无限次求导，从而有Taylor级数
$A^{-1}(z)=\sum_{j=0}^\infty \psi_jz^j,\quad |z|\le \rho.$
由于这个级数在$z=\rho$处收敛，所以级数$|\psi_j\rho^{j}|\to 0$，也就是$\psi_j=o(\rho^{-j})$，所以由$\{\rho^{-j}\}$的绝对可和性得知$\{\psi_j\}$绝对可和，这样$A^{-1}(\mathscr B)\varepsilon_t=\sum\limits_{j=-\infty}^\infty \psi_j\varepsilon_{t-j}$是均方收敛，即有意义的。现在，我们就得到方程$A(\mathscr B)X_t=\varepsilon_t$的特解为
$A^{-1}(\mathscr B)[A(\mathscr B)X_t]=X_t=A^{-1}(\mathscr B)\varepsilon_t=\sum_{j=0}^\infty \psi_j\varepsilon_{t-j}.$
注意到这是一个单边无穷滑动和（这就说明它是平稳序列），没有用到未来的白噪声信息，因此我们可以认为这个解是有意义的。并且，任何一个由$X_t=\sum\limits_{j=0}^\infty \psi_j\varepsilon_{t-j}$且$\psi_j$绝对可和的序列决定的平稳序列都是${\rm AR}(p)$序列，这里的$\{\psi_j\}$被称为Wold系数。

我们已经找到了${\rm AR}(p)$模型的一个平稳解，但事实上，我们还有更强力的结论，即这个平稳解是唯一的。

平稳解唯一定理：${\rm AR}(p)$模型$A(\mathscr B)X_t=\varepsilon_t$的解$A(\mathscr B)\varepsilon_t=\sum\limits_{j=0}^\infty\psi_j\varepsilon_{t-j}$是此模型的唯一平稳解，并进一步得到模型的通解为
$Y_t=\sum_{j=0}^\infty \psi_j\varepsilon_{t-j}+\sum_{j=1}^k\sum_{l=0}^{r(j)-1}U_{l,j}t^lz_j^{-t},\quad z\in\Z.$

首先对此平稳解进行验证。令$a_0=-1$，$\psi_k=0(k<0)$，则对$|z|\le 1$有
$1=A(z)A^{-1}(z)=-\sum_{j=0}^pa_jz^j\sum_{k=0}^\infty \psi_kz^k=-\sum_{k=0}^\infty\left(\sum_{j=0}^pa_j\psi_{k-j} \right)z^k=-\sum_{k=0}^\infty\sum_{j=0}^p a_j\psi_{k-j}z^k.$
通过系数的比对，得到$\psi_0=1$，
$\sum_{j=0}^pa_j\psi_{k-j}=-\psi_{k}+\sum_{j=1}^pa_j\psi_{k-j}=0,\quad \psi_k=\sum_{j=1}^pa_j\psi_{k-j},\quad \forall k>0.$

此时令$X_t=\sum\limits_{j=0}^\infty \psi_jz^j$，就有
$\begin{aligned} A(\mathscr B)X_t=&-\sum_{j=0}^p a_jX_{t-j}\\ =&-\sum_{j=0}^pa_j\sum_{k=0}^\infty \psi_k\varepsilon_{t-j-k}\\ =&-\sum_{k=0}^\infty\sum_{j=0}^pa_j\psi_{k-j}\varepsilon_{t-k}\\ =&\varepsilon_t. \end{aligned}$
说明$X_t$是方程的解，又因为是平稳序列，所以是平稳解。

接下来证明平稳解的唯一性，这里要用到一个结论，即平稳序列$\{X_t\}$对于绝对可和的$\{a_j\},\{b_j\}$与其对应多项式$A(z),B(z)$，有$A(\mathscr B)[B(\mathscr B)X_t]=B(\mathscr B)[A(\mathscr B)X_t]=D(\mathscr B)X_t$。

对此性质的证明如下：首先我们验证$D(z)$的系数列$\{d_j\}$也是绝对可和的，因为$d_m=\sum\limits_{j=-\infty}^\infty a_jb_{m-j}$，所以
$\begin{aligned} \sum_{m=-\infty}^\infty |d_j|=&\sum_{m=-\infty}^\infty\left|\sum_{j=-\infty}^\infty a_jb_{m-j} \right|\\ \le&\sum_{m=-\infty}^\infty \sum_{j=-\infty}^\infty |a_j||b_{m-j}|\\ =&\sum_{j=-\infty}^\infty |a_j|\sum_{m=-\infty}^\infty |b_{m-j}|\\ =&\sum_{j=-\infty}^\infty |a_j|\sum_{k=-\infty}^\infty |b_k|<\infty. \end{aligned}$
对于平稳序列$X_t$，由其有界性$|\gamma_k|<|\gamma_0|$，所以满足绝对收敛条件：
${\rm E}\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty |a_kb_jX_{t-k-j}|=\sum_{j=-\infty}^\infty\sum_{k=-\infty}^\infty |a_k||b_j|{\rm E}|X_{t-k-j}|\le\sqrt{\gamma_0}\sum_{j=-\infty}^\infty|a_j|\sum_{k=-\infty}^\infty |b_k|.$
所以$A(\mathscr B)[B(\mathscr B)X_t],B(\mathscr B)[A(\mathscr B)X_t],D(\mathscr B)X_t$都是绝对收敛的，并且具有相同的极限。

如果另有平稳解$Y_t$，则因为平稳序列具有有界性$|\gamma_k|\le |\gamma_0|$，所以绝对收敛，满足无穷级数的可交换性，就有
$Y_t=A^{-1}(\mathscr B)[A(\mathscr B)Y_t]=A^{-1}(\mathscr B)\varepsilon_t=X_t,$
这就证明了平稳解$\{X_t\}$的唯一性，并且可以很自然地写出通解。

3.${\rm AR}(p)$模型平稳解的性质讨论

从刚才的讨论，我们知道了$A(\mathscr B)X_t=\varepsilon_t$的平稳解是唯一的，且仅与白噪声$\varepsilon_t$和特征多项式$A(z)$的Wold系数有关，接下来我们就对Wold系数作一些讨论。

前面我们得知，对于$\rho\in(1,\min\limits_j\rho_j)$，有$\psi_j=o(\rho^{-j})$，也就是随着$j$的增大$\psi_j$总会趋近于0，并且$\rho^{-j}$还给收敛速度作出了限制，对于越大的$\rho$，Wold系数收敛于0的速度越快，而$\rho$的取值依赖于$\min\limits_j\rho_j$，所以$A(z)$的零点距离单位圆越远，其Wold系数收敛速度越快。

按定义来看，Wold系数是$1/A(z)$的Taylor展开系数，但是对一个多项式，不断求其导数在0点的值的计算量是巨大的，有没有什么简便的方法来计算Wold系数呢？其实，在我们验证$A^{-1}(\mathscr B)X_t=\varepsilon_t$时，得到了这样的恒等式（令$a_0=-1,\psi_k=0(k<0)$）：
$1=A(z)A^{-1}(z)=-\sum_{j=0}^pa_jz^j\sum_{k=0}^\infty \psi_kz^k=-\sum_{k=0}^\infty\left(\sum_{j=0}^pa_j\psi_{k-j} \right)z^k=-\sum_{k=0}^\infty\sum_{j=0}^p a_j\psi_{k-j}z^k.$
通过比对系数，能够得到Wold系数的递推公式：
$\psi_k=\left\{ \begin{array}l 0,&k<0;\\ 1,&k=0;\\ \sum\limits_{j=1}^pa_j\psi_{k-j},&k>0. \end{array} \right.$
综合起来，如果我们把$\{\psi_j\}$也看成一个时间序列，时间指标是$j$，就有
$A(\mathscr B)\psi_j=0,\quad \psi_k=0(k<0),\psi_0=1.$
最后我们来讨论${\rm AR}(p)$模型的收敛性，其通解$Y_t$与平稳解之差$X_t$满足$|Y_t-X_t|\le o(\rho^{-t})$，这里的$\rho$与之前有相同的定义。这就说明${\rm AR}(p)$模型随着时间的增长一定会收敛于其平稳解，并且$A(z)$的根越远离单位圆，收敛的速度就越快。

这种收敛的性质表明，不论我们给${\rm AR}(p)$模型设定什么样的初值，最后都产生一样的效果，于是我们可以使用初值$\boldsymbol 0_{p}$来模拟${\rm AR}(p)$序列。

4.特例：${\rm AR}(1)$序列

${\rm AR}(1)$序列是最简单的${\rm AR}(p)$序列，其形式为$X_t=aX_{t-1}+\varepsilon_t$，特征多项式是$A(z)=1-az$，稳定性条件是$a<1$。我们可以得到它的平稳解和通解分别是
$X_t=\frac{1}{1-a\mathscr B}\varepsilon_t=\sum_{j=0}^\infty a^j\varepsilon_{t-j},\quad Y_t=\sum_{j=0}^\infty a^j\varepsilon_{t-j}+\xi a^t.$
这里用到级数展开式$\sum x^j=1/(1-x),|x|<1$。其平稳解的方差是
${\rm D}X_t=\sum_{j=0}^\infty a^{2j}{\rm D}\varepsilon_{t-j}=\frac{\sigma^2}{1-a^2}.$
可以看到，$|a|$越小，也就是$A(z)$的根$|z_1|$越远离单位圆，平稳解的方差越小，模型越稳定。

回顾总结

1. ${\rm AR}(p)$模型是一个特征多项式满足稳定性条件的非齐次差分方程模型$A(\mathscr B)X_t=\varepsilon_t$，对特征多项式的要求是常数项为1，次数为$p$，满足稳定性条件：$A(z)\ne 0,|z|\le1$。
2. ${\rm AR}(p)$方程有唯一的平稳解：$A^{-1}(\mathscr B)\varepsilon_t$，这里$A^{-1}(z)=\frac 1{A(z)}=\sum\limits_{j=0}^\infty \psi_jz^j$，是一个单边滑动无穷和。系数$\{\psi_j\}$被称为Wold系数，它以负指数阶收敛于0。
3. Wold系数的递推公式为$A(\mathscr B)\psi_j=0$，即
   $\psi_k=\left\{ \begin{array}l 0,&k<0;\\ 1,&k=0;\\ \sum\limits_{j=1}^pa_j\psi_{k-j},&k>0. \end{array} \right.$
4. ${\rm AR}(p)$模型的通解以负指数阶收敛于平稳解，且$A(z)$的根越远离单位圆，收敛越快，因此初值不影响模型的模拟结果。
5. ${\rm AR}(1)$模型$X_t=aX_{t-1}+\varepsilon_t$的Wold系数就是$a^j$，其平稳解方差为$\sigma^2/(1-a^2)$。