随机时间python 随机时间序列模型

文章目录

• 前言
• 1 随机性时间序列模型

• 1.1 基本概念

• 1.1.1 随机过程概念
• 1.1.2 几个重要的平稳随机过程

• 白噪声（纯随机过程）
• 独立增量随机过程
• 二阶矩过程与宽平稳过程
• 严平稳随机过程
• 正态过程

• 1.1.3 动态性

• 2 算子

• 2.1 差分算子
• 2.2 格林函数
• 2.3 后移算子
• 2.4 逆函数
• 2.5 格林函数与逆函数的对偶转换

• 3 平稳性与可逆性

• 3.1 平稳性条件

• 3.1.1 ARMA(1,m)
• 3.1.2 ARMA(2,m)

• 3.2 可逆性条件

• 3.2.1 ARMA(n,1)
• 3.2.2 ARMA(n,2)

• 4 分解

• 4.1 Wold分解

• 5 模型识别

• 5.1 Box-Jenkins法

• 6.1.1 矩估计
• 6.1.2 极大似然估计
• 6.1.3 条件最小二乘估计

• 6.2 数值法

• 6.2.1 线性迭代法
• 6.2.2 牛顿-拉普森(Newton-Raphson)算法

---

前言

1 随机性时间序列模型

时间序列分析方法是通过对样本观测值的观察分析，将时间序列的趋势项、周期项和随机项分解出来。
其中，对于趋势性或周期性变化，常用确定性时序分析，而对于余下的随机项，可用随机时序模型拟合，属于随机时序分析。确定和随机两部分组合起来共同描述一个时间序列。
随机性时间序列模型最早由G.E.P.Box和G.M.Jenkins提出。

1.1 基本概念

1.1.1 随机过程概念

设$T$是负无穷到正无穷的子集，如果$\forall t\in T$，都有一个随机变量与之对应，就称为随机变量的集合为随机过程。
当$T$是全体整数或全体非负整数时，称相应的随机过程为离散随机过程。把随机序列的指标集合$T$看成时间指标时，这个随机序列就是离散时间序列。
当$T$是全体实数或全体非负实数时，称相应的随机过程为连续随机过程。把随机序列的指标集合$T$看成时间指标时，这个随机序列就是连续时间序列。

1.1.2 几个重要的平稳随机过程

白噪声（纯随机过程）

设${a_t}$为平稳序列，对于$\forall t\in N$，都有

$E(a_t)=\mu$
$COV(a_t,a_s) = \left\{ \begin{aligned} \ \sigma^2_a, (t=s) \\ \ 0, t\neq s \end{aligned} \right.$

独立增量随机过程

对于$\forall n,t_i \in T(i=1,2,...,n; t_1<t_2<...<t_n)$，随机变量$X(t_2)-X(t_1), X(t_3)-X(t_2),...,X(t_n)-X(t_n-1)$都相互独立，则称随机过程$\{X_t\}=\{X_t:t\in T\}$为独立增量随机过程

二阶矩过程与宽平稳过程

对于$\forall t \in T，X_t$的均值和方差存在，则称此过程为二阶矩过程。
若随机过程$\{X_t, t \in T\}$是一个二阶矩过程，且满足：
$EX_t=\mu, \forall t\in T \\ \ \\ E[X_{t+\tau}][X_t-\mu]=\gamma_\tau, \forall t,t+\tau \in T$
则称$\{X_t,t\in T \}$为宽平稳随机过程。

注意：白噪声为宽平稳随机过程，平稳时间序列中讨论的都为宽平稳随机序列。

严平稳随机过程

对于$\forall t_i(i=1,2,...,n)$和任意实数$s$，随机过程$\{X_t\}$的$n$维分布函数满足关系式，即为严平稳随机过程：
$F_n(X_1,X_2,...,X_n;t_1,t_2,...,t_n)=F_n(X_1,X_2,...,X_n;t_1+s,t_2+s,...,t_n+s)$
二阶矩存在的严平稳随机过程一定是宽平稳随机过程，反之不成立。

正态过程

若$\{X_t, t\in T\}$的有限维分布都是正态分布，则称$\{X_t, t \in T\}$为正态随机过程。

1.1.3 动态性

动态性：系统现在的行为与其历史行为的相关性，也就是系统的记忆性，具体地，就是在某一时刻进入系统的输入对系统后续行为的影响，如果该输入只影响系统下一时刻的行为，而对下一时刻以后的行为不发生作用，那么系统就有一阶动态或一期记忆性。
那么以此类推，如果该输入对系统之后的$n$个时刻的行为都有影响，那么就说系统具有$n$阶动态性。例如，$n$阶自回归模型（$AR(n)$）为：
$X_t = \phi_1 X_{t-1}+\phi_2 X_{t-2}+...+\phi_n X_{t-n}+a_t$
基本假设：Xt仅与X_{t-1}、X_{t-2}、X_{t-3}等有线性关系，a_{t}为独立同分布的正态序列一种有意思的理解：n阶自回归模型就是将Xt中依赖于X_{t-1}、X_{t-2}、X_{t-3}等与过去相关的成分剥离掉，得到一个独立的时间序列a_{t}而a_{t}作为白噪声序列，对过去没有记忆性 与$AR(n)$模型对比来看，$MA(m)$模型描述的是系统对过去时刻进入系统的噪声的记忆：
$X_t = a_t-\theta_1 a_{t-1}-\theta_2 a_{t-2}-...-\theta_m a_{t-m}$
基本假设：Xt仅与a_{t-1}、a_{t-2}、a_{t-3}等有线性关系，a_{t}为独立同分布的正态序列该系统在t时刻的响应Xt与过去时刻的响应X_{t-1}、X_{t-2}、X_{t-3}等无关，而与过去t-1、t-2等时刻进入系统的扰动a_{t-1}、a_{t-2}、a_{t-3}存在着一定的相关关系，于是去掉这种相关关系以后，得到一个独立序列a_{t} 综合来看，$ARMA(n,m)$描述的是系统对过去自身状态以及各时刻进入的噪声的记忆。
$X_t-\phi_1 X_{t-1}-\phi_2 X_{t-2}-...-\phi_n X_{t-n} \\=a_t-\theta_1 a_{t-1}-\theta_2 a_{t-2}-...-\theta_m a_{t-m}$
注意：(1) AR(n)、MA(n)、ARMA(n,m)模型都是ARMA(n,n-1)的特殊情形(2) 对于平稳系统，都可以用一个ARMA(n,n-1)模型近似得到想要得到的任意程度(3) 对于n阶自回归部分，移动平均部分的阶数应当为n-1而对于一般ARMA(n,m)模型中m!=n-1的情形，实际上是ARMA(n,n-1)模型的\phi或\theta为0的特殊情形从连续系统的离散化过程来看，ARMA(n,n-1)模型也是合理的

2 算子

2.1 差分算子

以$AR(1)$模型为例：
$X_t = X_{t-1}+a_t$
即随机游走模型，该系统对过去有很强的惯性，与过去强相关，当Xt从t时刻移至t-1时刻时，若没有随机项a_{t}，则Xt的值保持不变(完全的记忆性)，但是就是因为这个a_{t}，Xt的值才不确定。由于随机项a_{t}主宰X的增量大小，所以才称为随机游走模型 即有下式，其中$\nabla$表示差分算子：
$\nabla X_t = a_t$
除此之外，我们称$Y_t=X_t - X_{t-1}$叫做关于$X_t$的一阶差分，记为：
$Y_t = \nabla X_t$
由此递归，则称$Z_t=Y_t - Y_{t-1}$叫做关于$Y_t$的一阶差分，也是关于$X_t$的二阶差分，记为：
$Z_t = \nabla Y_t=X_t - X_{t-1}-X_{t-1} + X_{t-2}=\nabla^2X_t$
类似地，设$X_t$地第$k-1$次差分为$W_t$，则称$W_t-W_{t-1}$为$X_t$的$k$阶差分。

注意：k阶差分不是简单的$X_t - X_{t-k}$，而是叠加差分。

2.2 格林函数

同样以$AR(1)$模型为例：
$X_t = X_{t-1}+a_t$
对应的齐次差分方程的通解为：
$X_t = c\varphi_1^t, t\in Z$
由$AR(1)$右边的形式可知，模型的特解可能是$\{a_t\}$序列的线性组合：

$\begin{aligned} X_t &= \varphi_1X_{t-1}+a_t \\ &= \varphi_1(\varphi_2X_{t-2}+a_{t-1})+a_t \\ &=\varphi_1^2X_{t-2}+\varphi_1a_{t-1}+a_t \\ &=\varphi_1^2(\varphi X_{t-3}+a_{t-2})+\varphi_1a_{t-1}+a_t \\ &=\varphi^3X_{t-3}+\varphi^2a_{t-2}+\varphi_1a_{t-1}+a_{t} \\ &... \\ &=\sum^{\infty}_{j=0}\varphi_1^{j}a_{t-j} \end{aligned}$
则$AR(1)$的通解为：
$X_t=\sum^{\infty}_{j=0}\varphi_1^{j}a_{t-j}+c\varphi_1^t$
当|\varphi_{t}|<1时，t趋近于正无穷，则c\varphi_1^{t}趋近于0，则Xt完全被特解部分决定，也就是独立序列a_{t-j}部分确定若|\varphi_{t}|>1时，则通解部分与特解部分均发散，这样的话就没有接下来的统计学意义了（个人理解：第一，统计学预测意义角度，之后是将时间序列用于预测，如果发散，则并没有找到时间序列中的统计学规律，那么这样预测也是无意义的，故需要施加一个平稳性条件，之后的所有时间序列分析也是建立在平稳性假设条件基础上的预测；第二，遍历性角度。由于之后许多处理需要对不同t时刻进行期望方差计算，如果不同时刻的期望不同那么就非常麻烦了，就需要整个序列先平稳，也就是收敛到同一期望值，那么就方便了遍历计算） 而其中系数函数$\varphi_1^j$客观地描述了该系数地动态性，故称此系数为格林函数，用$G_j$表示：
$G_j = \varphi_1^j$
$AR(1)$的特解也可以改写为：
$X_t=\sum^{\infty}_{j=0}G_ja_{t-j}$
或：
$X_t=\sum^{t}_{k=-\infty}G_{t-k}a_{k}$

2.3 后移算子

后移算子$B$表示后移的期数，如：$B^jX_t=X_{t-j}$
具有如下性质：

• 对和$t$无关的随机变量$Y$有：$BY=Y$
• 对整数$n$，常数$a$有：$B^n(aX_t)=aB^nX_t=aX_{t-n}$
• 对整数$n,m$有：$B^{n+m}(X_t)=B^nB^mX_t=X_{t-n-m}$
• 对多项式$\psi(z)=\sum^p_{j=0}c_jz^j$，有：$\psi(B)X_t=\sum^p_{j=0}c_jX_{t-j}$
• 对多项式$\psi(z)=\sum^p_{j=0}c_jz^j$和$\varphi(z)=\sum^q_{j=0}d_jz^j$的乘积$f(z)=\psi(z)\varphi(z)$，有：
  $f(B)X_t=\psi(B)[\varphi(B)X_t]=\varphi(B)[\psi(B)X_t]$
• 对时间序列$X_t,Y_t$而言，多项式$\psi(z)=\sum^p_{j=0}c_jz^j$和随机变量U，V，W，有：$\psi(B)(UX_t+VY_t+W)=U\psi(B)X_t+V\psi(B)Y_t+W\psi(1)$

2.4 逆函数

在一定条件下，所有模型也可以转化为无限阶的AR模型，即：
$\begin{aligned} X_t &= I_1X_{t -1}+I_2X_{t -2} + ... + a_t \\ & = \sum_{j=1}^\infty I_jX_{t-j} + a_t \end{aligned}$
或：
$\begin{aligned} a_t &= (1-\sum_{j=1}^\infty I_jX_{t-j}) X_t\\ & = (1-I_1B-I_2B^2-...)X_t \\ & = \sum_{j=0}^\infty (-I_j)B^{j} X_t \end{aligned}, (I_0 = -1)$
上式被称为$X_t$的逆转形式，其中$I_j$称为逆函数。一个过程是否具有逆转形式，称为过程是否具有可逆性，或是否可逆。

2.5 格林函数与逆函数的对偶转换

利用对偶性求得一种模型的格林函数或逆函数，就可以直接得到与其对偶的模型的逆函数或格林函数。
具体做法为，在ARMA(n,m)的格林函数中用$-I_j$代替$G_j$，$\varphi$和$\theta$相互代替：
例如，ARMA(1,2)的格林函数为：
$\begin{cases} G_1 = \varphi_1-\theta_1\\ G_2 = \varphi_1G_1 - \theta_2 \\ G_j = \varphi_1G_{j-1}, (j\geq3) \end{cases}$
ARMA(2,1)的逆函数为：
$\begin{cases} I_1 = \varphi_1-\theta_1\\ I_2 = \varphi_2 - I_1\theta_1 \\ I_j = \theta_1I_{j-1}, (j\geq3) \end{cases}$

3 平稳性与可逆性

对于ARMA模型来说，只有平稳且可逆才是有意义的，一般总是假定模型既平稳又可逆。

3.1 平稳性条件

对于ARMA(n,n-1)模型平稳性条件的参数形式，一般是先求得模型格林函数的显性表达式，然后看$x_t$收敛时，特征根$\lambda_1,\lambda_2,...,\lambda_n$需要达到的要求是什么，特征根$\lambda_n$与参数$\varphi_n$关系转换后，即为是由参数$\varphi_1,\varphi_2,...,\varphi_n,$构成的n+1个不等式。
平稳性仅与自回归参数有关，而与移动平均参数无关。

3.1.1 ARMA(1,m)

平稳性条件：
$|\varphi_1|<1$

3.1.2 ARMA(2,m)

平稳性条件：
$\begin{cases} \varphi_1+\varphi_2<1\\ \varphi_2 - \varphi_1 <1 \\ |\varphi_2|<1 \end{cases}$

3.2 可逆性条件

可逆性与移动平均参数有关，而与自回归参数无关。

3.2.1 ARMA(n,1)

平稳性条件：
$|\theta_1|<1$

3.2.2 ARMA(n,2)

平稳性条件：
$\begin{cases} \theta_1+\theta_2<1\\ \theta_2 - \theta_1 <1 \\ |\theta_2|<1 \end{cases}$

4 分解

4.1 Wold分解

回顾$AR(1)$模型的特解为下式，下式也被成为Wold分解式，$G_j$也叫Wold系数：
$X_t = \sum^\infty_{j=0} =G_ja_{t-j}$
由于$a_{t-j}$为相互独立的（模型假设），所以可以看作线性空间的基，$X_t$可由$a_{t-j}$进行线性表示。其系数$G_j$是$X_t$对于$a_{t-j}$的坐标投影，$X_t$是$G_ja_{t-j}$的正交向量和。
也就是说，用线性空间来审视上式，即为wold分解。

5 模型识别

5.1 Box-Jenkins法

即根据样本自相关、偏自相关函数的截尾性和拖尾性初步判断序列所适合的模型类型。

1. 零均值化
2. 样本自相关函数
   $\hat{\rho_k} = {\sum_{t=1}^{n-k}(x_t-\bar{x}) (x_{t-k}-\bar{x})\over \sum_{t=1}^{n}(x_t-\bar{x})^2}$
3. 样本偏自相关函数
   $\hat{\phi_{kk}} = {\hat{D_k } \over \hat D}$
4. 根据截尾和拖尾判断模型

自相关函数	偏自相关函数	选择模型
拖尾	p阶截尾	AR(p)
q阶截尾	拖尾	MA(q)
拖尾	拖尾	ARMA(p,q)

# 6 参数估计 ## 6.1 直接估计法 常用的参数估计方法：

6.1.1 矩估计

6.1.2 极大似然估计

6.1.3 条件最小二乘估计

条件最小二乘估计是实际中最常用的参数估计方法，假设条件为：
$a_{t-1}=a_{t-2}=...=a_{t-q}=0$
残差平方和方程为：
$Q(\hat\beta)=\sum^n_{t=p+1}a_t^2=\sum^n_{t=p+1}[X_t-\sum^p_{i=1}\varphi_iX_{t-i}+\sum^q_{j=1}\theta_ja_{t-j}]^2$
解法：迭代法
优缺点：

• OLS估计充分应用每一个观察值提供的信息，因而估计精度高
• 条件OLS估计使用率较高
• 但是需要假定总体分布（缺点）

6.2 数值法

都是用迭代

6.2.1 线性迭代法

给出初始值，根据式子进行迭代计算，直至相邻两次迭代值相差不大时停止迭代，最后迭代结果作为近似解

6.2.2 牛顿-拉普森(Newton-Raphson)算法