经典机器学习与时间序列机器学习区别经典时间序列分解

转载

数据挖掘者 2024-05-19 20:56:41

文章标签 经典机器学习与时间序列机器学习区别方差时间序列分析时间序列 文章分类 机器学习人工智能

2017/7/1 17:34:07

正文

最早的时间序列分析可以追溯到 7000 年前的古埃及。古埃及人把尼罗河涨落的情况逐天记录下来，从而构成一个时间序列。对这个时间序列长期的观察使他们发现尼罗河的涨落非常有规律，由于掌握了涨落的规律，古埃及的农业迅速发展。这种从观测序列得到直观规律的方法即为描述性分析方法。在时间序列分析方法的发展历程中，经济、金融、工程等领域的应用始终起着重要的推动作用，时间序列分析的每一步发展都与应用密不可分。

一般地，人们认为现代时间序列分析起源于英国统计学家 G.u.Yule 在 1927 年提出的 AR（Auto Regressive，自回归）模型。该模型与英国统计学家 G.T.Walker 在 1931 年提出了 MA（Moving Average，移动平均）模型和 ARMA 模型，构成了时间序列分析的基础，至今仍被大量应用。这三个模型主要应用于单变量、同方差场合的平稳序列。

其后，Box 和 Jenkins 在 1927 年出版的 Time Series Analysis: Forecasting and Control 被认为是时间序列分析发展的里程碑。该书为实际工作者提供了对时间序列进行分析、预测以及对 ARIMA 模型识别、估计和诊断的系统方法。ARIMA 模型也被称为 Box-Jenkins 模型，主要应用于单变量、同方差场合的线性模型。该模型可以处理非平稳序列，主要思想是先对非平稳序列进行差分，使之变为平稳序列，然后再用 ARMA 模型来拟合差分后的序列。

前面所述的 AR 模型、MA 模型、ARMA 模型和 ARIMA 模型都要求时间序列为单变量、同方差的线性模型。随着时间序列分析理论的发展，人们发现这些假设在一些情形下并不成立，例如 Moran（1953）对加拿大山猫数据的建模过程中发现数据中的怪异特征，即大于均值的样本点的残差显著地小于那些小于均值的样本点的残差。因此，人们越来越关系异方差、多变量、非线性的时间序列。

对于异方差情形，Engle（1982）首先提出 ARCH（Auto-regressive conditional heteroskedasticity，自回归条件异方差）模型。ARCH 模型的基本思想是假设同一时刻噪声服从均值为零，方差是一个随时间变化的量（即为条件异方差）的正态分析，且这个随时间变化的方差是过去有限项序列值平方的线性组合（即为自回归）。作为一种全新的理论，ARCH 模型在近几十年里得到了极大的发展，已被广泛地用于验证金融理论中的规律性描述以及金融市场的预测和决策。该模型也也被认为是近来金融计量学发展中最重大的创新。然而，ARCH 模型只适用于异方差函数短期自相关过程，为此 Bollerslev（1986）对 ARCH 推广至广义自回归条件异方差（GARCH）模型，GARCH 模型更能反映实际数据中的长期记忆性质。ARCH 的另外几种推广形式有 Engle 等人（1987）提出的 ARCH-M 模型和 Nelson（1991）提出的指数广义自回归田间异方差（EGARCH）模型，等等。

对于多变量的情形，自然的想法是吧一维时间序列的分析方法推广至多维。因此，早期对于多维时间序列的分析方法中往往要求每个序列都是平稳的。常见的模型有向量 ARMA 模型、向量自回归模型（VAR）等。由于从一元自回归滑动平均模型到多元的情形不能直接推广，其间存在很多问题和需要克服的困难，包括模型的识别、估计和解释等，因此这方面的发展相对较慢。直到 Engle 和 Granger（1987）提出了协整（co-integration）理论及其方法，为多维非平稳序列的建模提供了一种途径。协整理论中各序列可以都是不平稳的，它们的线性组合却是平稳序列，该理论可以解释变量之间的长期稳定的均衡关系。协整方法已成为了分析非线性平稳序列之间数量关系的最重要工具之一。对于序列之间存在非线性的调整机制的情形，Balke 和 Fomby（1997）提出了阈值协整（Threshold Cointegration）方法。例如，在股票交易过程中，由于交易费用、交易政策等因素会导致股价的非对称调整；国家的货币政策由于制度方面的原因也会对通货膨胀率产生非对称调整行为。

对于非线性情形，Tong 和 Lim（1980）提出了 TAR（Threshold Autoregressive，门限自回归）模型。TAR 模型假定在状态空间的不同区域，模型有不同的线性形式，状态空间的划分通常由一个门限变量来确定，该模型属于参数模型。近二十年来，人们更多的关注时间序列的非参数模型，如非参数自回归（NAR）模型、非参数自回归异方差（NARCH）模型等。

时间序列分析方法的另一个突破是在谱分析方面。给定一个时间序列样本，通过傅里叶变化可以把时域上的数据变换到频域，即为经典谱分析方法，例如周期图谱法等。Burg（1967）在他从事的地震信号的分析与处理中提出最大熵谱，其把信息熵的概念融入信号处理中，有时又称为时序谱分析方法，是现代谱分析的开始。Capon（1969）提出了最小方差谱估计。这两个方法共同奠定了现代谱估计的基础。此后Shore 和 Johnson（1980）又提出了最小交叉熵法。理论证明，最大熵谱分析法只是最小交叉熵法的一个特例。当存在先验信息时，最小交叉熵可获得比最大熵法好得多的分辨率。但最小交叉熵法的缺点是运算太繁复。一般地，经典谱估计对于长数据序列有良好的谱估计性能，但对于短数据序列经典谱分析存在分辨率不高等致命弱点，现代谱估计法则具有优良性能。

随着时间序列分析的理论与应用这两方面的深入研究，时序分析应用的范围日益扩大。目前，它已涉及天文、地理、生物、物理、化学等自然科学领域，图像识别、语音通信、声呐技术、遥感技术、核工程、环境工程、医学工程、海洋工程、冶金工程、机械工程等工程技术领域，国民经济、市场经济、生产管理、人口等社会经济领域，并已取得不少重要应用成果。