AR模型(Auto Regressive Model):
自回归模型是用自身做回归变量的过程，它利用以前的随机变量的线性组合来描述以后该随机变量的回归模型。
MA模型(Move Average Model)：
为了简化AR模型参数，就有引进移动平均模型MA的必要。
考虑如下形式的（无穷阶）自回归过程：
yt=ayt−1+a2yt−2+...+apyt−p+...+utyt=ayt−1+a2yt−2+...+apyt−p+...+ut
将其时间推迟一期，有：
yt−1=ayt−2+a2yt−3+....+apyt−p−1+ut−1yt−1=ayt−2+a2yt−3+....+apyt−p−1+ut−1
将上式两侧的每一项同乘以a，然后与该自回归过程的原始表达式相减，得到：
yt=ut−aut−1yt=ut−aut−1
我们就把这种由白噪声序列诸元素的加权和所表示的随机过程，称作移动平均过程(moving average process MA)。其中的参数数目就是该移动平均过程的阶数。例如，上式就是一个一阶移动平均过程，简记为MA（1）。
一般地，q阶移动平均过程MA（q）就是如下形式的随机过程：
yt=ut−(b1ut−1)−(b2ut−2)−(b3ut−3)−...−(bqut−q)
我们可以证明：一个平稳有限阶自回归过程必定可以转化成某个无限阶移动平均过程。反之，当某些条件（称之为可转换条件）具备的时候，一个有限阶移动平均过程也可以转换成某个无限阶自回归过程。于是，我们便可以将阶数较高的自回归过程近似地用阶数较低的移动平均过程来代替；反之，亦然。
简而言之：r模型是建立当前值和历史值之间的联系，ma模型是计算ar部分的误差的累计 ARMA就是两者结合。
GAN(Generative Adversarial NetWork)生成式模型
评价无监督学习好坏的方式有很多，其中生成任务就是最直接的一个。只有当我们能生成/创造我们的真实世界，才能说明我们是完完全全理解了它。然而，生成任务所依赖的生成式模型（generative models）往往会遇到两大困难。
首先是我们需要大量的先验知识去对真实世界进行建模，其中包括选择什么样的先验、什么样的分布等等。而建模的好坏直接影响着我们的生成模型的表现。另一个困难是，真实世界的数据往往很复杂，我们要用来拟合模型的计算量往往非常庞大，甚至难以承受。而在过去一两年中，有一个让人兴奋的新模型，则很好地避开了这两大困难。这个模型叫做 Generative Adversarial Networks（GAN），由 [1] 提出。在原始的 GAN paper [1] 中，作者是用博弈论来阐释了 GAN 框架背后的思想。每一个 GAN 框架，都包含着一对模型 —— 一个生成模型（G）和一个判别模型（D）。因为 D 的存在，才使得 GAN 中的 G 不再需要对于真实数据的先验知识和复杂建模，也能学习去逼近真实数据，最终让其生成的数据达到以假乱真的地步 —— D 也无法分别 —— 从而 G 和 D 达到了某种纳什均衡。
在我的理解中，GAN最基本的思想就是用generator进行生成，在生成的东西进行discriminator进行判别和实际的进行分类，然后进行生成更好的不断迭代直至discriminator无法进行分辨分类，从而进行拟合。通常用来进行图像处理，我们可以借鉴这种思想
RNN卷积神经网络
RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
如图所示为Hidden Layer的层级展开图. t-1, t, t+1表示时间序列. X表示输入的样本. St表示样本在时间t处的的记忆,St = f(W*St-1 +U*Xt). W表示输入的权重, U表示此刻输入的样本的权重, V表示输出的样本权重。
注意: 1. 这里的W,U,V在每个时刻都是相等的(权重共享).
2. 隐藏状态可以理解为: S=f(现有的输入+过去记忆总结)
前面我们介绍了RNN的算法, 它处理时间序列的问题的效果很好, 但是仍然存在着一些问题, 其中较为严重的是容易出现梯度消失或者梯度爆炸的问题(BP算法和长时间依赖造成的). 注意: 这里的梯度消失和BP的不一样,这里主要指由于时间过长而造成记忆值较小的现象.因此, 就出现了一系列的改进的算法, 这里介绍主要的两种算法: LSTM 和 GRU
LSTM(Long Short Term Memory)长短期记忆网络
和RNN不同的是: RNN中,就是个简单的线性求和的过程. 而LSTM可以通过“门”结构来去除或者增加“细胞状态”的信息,实现了对重要内容的保留和对不重要内容的去除. 通过Sigmoid层输出一个0到1之间的概率值，描述每个部分有多少量可以通过，0表示“不允许任务变量通过”，1表示“运行所有变量通过 ”
