书接上文接着上次的笔记，在原本自回归模型基础上加入了深度学习，即由神经网络参数化的自回归模型，算是真正意义上的“深度”生成模型了。从使用MLP建模的有限记忆自回归到使用LSTM和RNN的长距记忆自回归，最后再到作者书中提到的借用因果卷积，解决卷积神经网络面对长距依赖关系的短板，从而构建的基于卷积神经网络的自回归模型。今天这篇笔记，开始学习和研究作者对于自回归模型实践部分的内容（作者代码）。之前都是
转载
2024-07-29 16:33:49
59阅读
ARIMA模型的定阶原理与建模分析前言一：AR
(
p
)
转载
2024-04-04 09:06:10
407阅读
史晨策1, 徐民凯2, 朱兆辰3,4, 张伟楠2, 张铭1, 唐建3,5,61 北京大学计算机科学技术系2 上海交通大学3 魁北克学习算法研究院(Mila)4 蒙特利尔大学5 蒙特利尔大学高等商学院6 CIFAR AI Research Chair网址：https://arxiv.org/abs/2001.09382代码链接：https://git
转载
2023-12-21 11:30:03
70阅读
利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。训练分类器时的做法就是寻找最佳拟合参数，使用的时最优化算法。优点：计算代价不高，利于理解和实现。缺点：容易欠拟合，分类精度可能不高。适用数据类型：数值型和标称型数据。 最优化算法：1基本的梯度上升法 2改进的梯度上升法海维塞德阶跃函数=单位阶跃函数（该函数在跳跃点上从0瞬间跳跃到1），这个顺
转载
2024-09-05 21:44:27
15阅读
深度切换自回归因子分解:在时间序列预测中的应用Submitted on 10 Sep 2020(****下图有误****) 论文https://arxiv.org/pdf/2009.05135v1.pdf源码https://github.com/ostadabbas/DSARF摘要我们引入深度转换自回归因子分解(DSARF)，这是一种时空数据的深度生成模型，能够揭示数据中重复出现的模式，并执行
转载
2024-03-26 14:41:32
70阅读
# 教你用Python实现二阶向量自回归模型
在时间序列分析中，二阶向量自回归模型（VAR）是一个广泛使用的工具。它能帮助我们理解多个时间序列之间的关系。本文将引导你如何在Python中实现一个二阶向量自回归模型，我们会从基础开始，逐步进行。
## 实现流程
以下是实现二阶向量自回归模型的主要步骤：
| 步骤 | 描述 |
|------|
1,平稳就代表随机过程在某一方面具有不变性.随着时间的偏移某一方面保持不变.所以会有很多种平稳随机过程.最熟悉的宽平稳就是,一阶均值保持不变,二阶自相关函数与时间也无关.之前学习的性质,从频域分析都是宽平稳带来的方便.本节介绍两种非平稳随机过程 (1),循环平稳 它与宽平稳是有联系的,宽平稳是任取T,而循环平稳是找到一个. 其具有了周期的特性. 如上x(t)为一个周期平稳过程,u为均匀分布,x与u
概念：回归分析（Regression Analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。其中，被用来预测的变量叫做自变量，被预测的变量叫做因变量。如果包含两个以上的自变量，则称为多元回归分析。比方说有一个公司，每月的广告费用和销售额，如下表所示：如果我们把
转载
2024-05-14 16:11:32
211阅读
回归回归分析是一种数学模型。当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一元线性回归，由大体上有线性关系的一个自变量和一个因变量组成，模型是：X是自变量，Y是因变量，ε是随机误差。通常假定随机误差的均值为0，方差为σ2（σ2﹥0，σ^2与X的值无关）。若进一步假定随机误差遵从正态分布，就叫做正态线性模型。一般的，若有k个自变量和1个因变量，则因变量的值分为两部分：一部分由自
转载
2024-05-14 20:33:35
457阅读
首先了解一下正则性（regularity），正则性衡量了函数光滑的程度，正则性越高，函数越光滑。（光滑衡量了函数的可导性，如果一个函数是光滑函数，则该函数无穷可导，即任意n阶可导）。 正则化是为了解决过拟合问题。在Andrew Ng的机器学习视频中有提到（详见）。解决过拟合的两种方法： 方法一：尽
1 模型定义错误衡量使用平方错误： 注：这里Eout计算是在考虑噪声的情况下，可以将x和y看作满足一个联合概率分布。 2 线性回归算法先把训练集误差Ein推导成矩阵形式：即：可以证明Ein关于w是连续，可微的凸函数，因此最小的点就在梯度为0的地方，那么剩下的问题就是来求梯度为0的w： 先把Ein展开成w的二次形式：求这个函数的梯度，与w是一维的情况类似（这就是线性代数
● L1和L2正则化的区别参考回答：L1是模型各个参数的绝对值之和,L2为各个参数平方和的开方值。L1更趋向于产生少量的特征,其它特征为0,最优的参数值很大概率出现在坐标轴上,从而导致产生稀疏的权重矩阵,而L2会选择更多的矩阵,但是这些矩阵趋向于0。● 问题：Loss Function有哪些，怎么用？参考回答：平方损失（预测问题）、交叉熵（分类问题）、hinge损失（SVM支持向量机）、
转载
2024-06-07 09:07:19
33阅读
前面我们介绍了许多数学工具，从这篇文章开始进入实际应用阶段。绝大多数的工程和系统都是一阶或二阶微分方程，因此我们只要解出这个微分方程就能完全掌握这个系统的状态。直接从时域解或者使用拉普拉斯变换从频域解都是可行的。让我们从相对简单的一阶系统开始。首先，什么是一阶系统？很简单，即只有一次导数的微分方程系统即一阶系统。举个简单的例子，手电筒。假设手电筒的电池所含电荷量为q，电容为C，电筒打开时电流为I，
转载
2024-06-06 14:17:00
152阅读
文章目录程序简介程序/数据集下载代码分析 程序简介调用statsmodels模块对上证指数的收盘价进行ARIMA模型动态建模，ARIMA适合短期预测，因此输入为15个数据，输出为1个数据 程序输入：原序列，需要往后预测的个数 程序输出：预测序列，模型结构(白噪声检验、单根检验、一阶差分自相关图、一阶差分偏自相关图)差分整合移动平均自回归模型(ARIMA)，ARIMA(p，d，q)中，AR是”自回
在事物的发展过程中，常表现出复杂的波动情况，即时而波动的幅度较缓，而又时常出现波动集聚性(VolatilitY clustering),在风险研究中经常遇到这种情况。恩格尔(Engle)在1982年提出了用来描述方差波动的自回归条件异方差模型ARCH (Autoregressive conditional heteroskedasticity model )。并由博勒斯莱 文(Bollerslev
转载
2024-05-10 09:07:53
329阅读
构建随机森林分类器随机森林它实际上是一个包含多个决策树的分类器，每一个子分类器都是一颗CART分类回归树，所以随机森林既可以做分类，又可以做回归。当它做分类的时候，输出的结果是每一个子分类器的分类结果中最多的那个。你可以理解是每一个分类器都做投票，取投票最多的那个结果。当它做回归的时候，输出结果是每棵CART树的回归结果的平均值GridSearchCV工具的使用在做好分类算法的时候，我们需要经常调
转载
2024-10-24 19:57:42
48阅读
第8章介绍的线性回归包含了一些强大的方法，但这些方法创建的模型需要拟合所有的样本点（局部加权线性回归除外）。当数据拥有众多特征并且特征之间关系十分复杂时，构建全局模型的想法就显得太难了，也略显笨拙。而且， 实际生活中很多问题都是非线性的，不可能使用全局线性模型来拟合任何数据。 一种可行的方法是将数据集切分成很多分易建模的数据，然后利用第8章的线性回归技术来建模。如果首次切分后仍然难以拟合线性模型就
目录一. 谐波过程二. 白噪声序列2.1 白噪声2.2 带限白噪声三. 高斯正太随机信号四. 稳定系统与因果系统4.1 稳定系统4.2 因果系统五. 自相关和自协方差函数六. 基于MATLAB的滤波器一. 谐波过程谐波过程可以描述为如下：上式子中的和是常数，是彼此独立且服从均匀分布的随机变量，其概率密度定义如下：均值定义如下：进一步化简可得：谐波过程是具有零均值的平稳过程，此可以由其自
logistics回归虽然名字叫回归，但其实是一种分类算法，有很多优点，1、判别式算法，直接对数据进行建模，不需要考虑数据的分布，也就是不需要考虑Y的先验这个问题。2、实现简单，目标函数是可导的凸函数，方便求最优解。 以下我们以二分类为例介绍这一个算法。一说到二分类问题，我们自然会联想到分段函数（或称阶跃函数），设定一个阈值，大于阈值为正例，小于阈值为负例，图像如下： 可以很明显的发现一个问题，我
转载
2024-04-16 18:18:56
59阅读
引言上节我们介绍了很多线性回归模型，如何用线性模型做分类任务呢？是不是可以将线性回归模型的预测值和到分类任务的标记联系起来呢？逻辑斯提回归对于一个二分类任务，输出标记y为{0,1}，而线性回归模型产生的预测值z为全体实数，我们想把z转换成0/1值。我们首先想到是“单位阶跃函数”。 利用线性回归模型产生预测值z，经过单位阶跃函数做变换，如果z<=0，就归为负类，若z>0就归为正
转载
2024-09-06 10:01:01
96阅读
