回归回归分析是一种数学模型。当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一元线性回归，由大体上有线性关系的一个自变量和一个因变量组成，模型是：X是自变量，Y是因变量，ε是随机误差。通常假定随机误差的均值为0，方差为σ2（σ2﹥0，σ^2与X的值无关）。若进一步假定随机误差遵从正态分布，就叫做正态线性模型。一般的，若有k个自变量和1个因变量，则因变量的值分为两部分：一部分由自
转载
2024-05-14 20:33:35
455阅读
概念：回归分析（Regression Analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。其中，被用来预测的变量叫做自变量，被预测的变量叫做因变量。如果包含两个以上的自变量，则称为多元回归分析。比方说有一个公司，每月的广告费用和销售额，如下表所示：如果我们把
转载
2024-05-14 16:11:32
211阅读
首先了解一下正则性（regularity），正则性衡量了函数光滑的程度，正则性越高，函数越光滑。（光滑衡量了函数的可导性，如果一个函数是光滑函数，则该函数无穷可导，即任意n阶可导）。 正则化是为了解决过拟合问题。在Andrew Ng的机器学习视频中有提到（详见）。解决过拟合的两种方法： 方法一：尽
● L1和L2正则化的区别参考回答：L1是模型各个参数的绝对值之和,L2为各个参数平方和的开方值。L1更趋向于产生少量的特征,其它特征为0,最优的参数值很大概率出现在坐标轴上,从而导致产生稀疏的权重矩阵,而L2会选择更多的矩阵,但是这些矩阵趋向于0。● 问题：Loss Function有哪些，怎么用？参考回答：平方损失（预测问题）、交叉熵（分类问题）、hinge损失（SVM支持向量机）、
转载
2024-06-07 09:07:19
33阅读
引言上节我们介绍了很多线性回归模型，如何用线性模型做分类任务呢？是不是可以将线性回归模型的预测值和到分类任务的标记联系起来呢？逻辑斯提回归对于一个二分类任务，输出标记y为{0,1}，而线性回归模型产生的预测值z为全体实数，我们想把z转换成0/1值。我们首先想到是“单位阶跃函数”。 利用线性回归模型产生预测值z，经过单位阶跃函数做变换，如果z<=0，就归为负类，若z>0就归为正
转载
2024-09-06 10:01:01
96阅读
前面我们介绍了许多数学工具，从这篇文章开始进入实际应用阶段。绝大多数的工程和系统都是一阶或二阶微分方程，因此我们只要解出这个微分方程就能完全掌握这个系统的状态。直接从时域解或者使用拉普拉斯变换从频域解都是可行的。让我们从相对简单的一阶系统开始。首先，什么是一阶系统？很简单，即只有一次导数的微分方程系统即一阶系统。举个简单的例子，手电筒。假设手电筒的电池所含电荷量为q，电容为C，电筒打开时电流为I，
转载
2024-06-06 14:17:00
152阅读
第8章介绍的线性回归包含了一些强大的方法，但这些方法创建的模型需要拟合所有的样本点（局部加权线性回归除外）。当数据拥有众多特征并且特征之间关系十分复杂时，构建全局模型的想法就显得太难了，也略显笨拙。而且， 实际生活中很多问题都是非线性的，不可能使用全局线性模型来拟合任何数据。 一种可行的方法是将数据集切分成很多分易建模的数据，然后利用第8章的线性回归技术来建模。如果首次切分后仍然难以拟合线性模型就
构建随机森林分类器随机森林它实际上是一个包含多个决策树的分类器，每一个子分类器都是一颗CART分类回归树，所以随机森林既可以做分类，又可以做回归。当它做分类的时候，输出的结果是每一个子分类器的分类结果中最多的那个。你可以理解是每一个分类器都做投票，取投票最多的那个结果。当它做回归的时候，输出结果是每棵CART树的回归结果的平均值GridSearchCV工具的使用在做好分类算法的时候，我们需要经常调
转载
2024-10-24 19:57:42
48阅读
书接上文接着上次的笔记，在原本自回归模型基础上加入了深度学习，即由神经网络参数化的自回归模型，算是真正意义上的“深度”生成模型了。从使用MLP建模的有限记忆自回归到使用LSTM和RNN的长距记忆自回归，最后再到作者书中提到的借用因果卷积，解决卷积神经网络面对长距依赖关系的短板，从而构建的基于卷积神经网络的自回归模型。今天这篇笔记，开始学习和研究作者对于自回归模型实践部分的内容（作者代码）。之前都是
转载
2024-07-29 16:33:49
59阅读
（1）前言（2）最小二乘的推导（3）最小二乘求解线性（4）曲线拟合的应用 （1）前言 关于最小二乘的应用，最早在高斯时代就被天才高斯用来求解，偏离轨道的行星，在别人还在用望远镜寻找的时候，高斯又是神奇般的轻而易举的算出了偏离轨道的行星准确位置。现在学习它，我是想在图像分类中和数据处理分类中会用到他做拟合、预测。（2）最小二乘的推导 最小二乘的线性回归方程系数即极值点坐标可
深度切换自回归因子分解:在时间序列预测中的应用Submitted on 10 Sep 2020(****下图有误****) 论文https://arxiv.org/pdf/2009.05135v1.pdf源码https://github.com/ostadabbas/DSARF摘要我们引入深度转换自回归因子分解(DSARF)，这是一种时空数据的深度生成模型，能够揭示数据中重复出现的模式，并执行
转载
2024-03-26 14:41:32
70阅读
测量一系列距离的空间自相关，并选择性创建这些距离及其相应z得分的折线图。z得分反映空间聚类的程度，具有统计显著性的峰值z得分表示促进空间过程聚类最明显的距离。这些峰值距离通常为具有“距离范围”或“距离半径”参数的工具所使用的合适值。这个工具就是为某些需要选择距离参数的工具选择合适的距离阈值或半径，典型的比如核密度分析、热点分析。挺实用的。像是做核密度分析，带宽选大了吧，核密度表面太平滑，导致研究的
转载
2024-07-30 13:33:26
82阅读
1. 一阶滤波算法的原理 一阶滤波，又叫一阶惯性滤波，或一阶低通滤波。是使用软件编程实现普通硬件RC低通滤波器的功能。 一阶低通滤波的算法公式为： Y(n)=αX(n) (1-α)Y(n-1) 
转载
2023-12-20 17:15:15
206阅读
文章目录01 - 一阶滞后滤波算法简介02 - 硬件低通滤波器03 - 稳定滤波的原理04 - 实际应用与变形05 - 滤波效果展示06 - 高性能的表现07 - 总结 越有魅力的事物，往往存在一种“反差”，即其存在两个相互关联的特性，但是各自表现得十分不同————小白 一阶滞后滤波又称作RC低通滤波、一阶滤波、一阶惯性滤波、一阶低通滤波等，下文统一称为一阶滞后滤波。01 - 一阶滞后滤波算法
转载
2024-01-12 07:13:09
335阅读
利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。训练分类器时的做法就是寻找最佳拟合参数，使用的时最优化算法。优点：计算代价不高，利于理解和实现。缺点：容易欠拟合，分类精度可能不高。适用数据类型：数值型和标称型数据。 最优化算法：1基本的梯度上升法 2改进的梯度上升法海维塞德阶跃函数=单位阶跃函数（该函数在跳跃点上从0瞬间跳跃到1），这个顺
转载
2024-09-05 21:44:27
15阅读
近年来，全国赛的题目中，多多少少都有些数据，而且数据量总体来说呈不断增加的趋势， 这是由于在科研界和工业界已积累了比较丰富的数据，伴随大数据概念的兴起及机器学习技术的发展， 这些数据需要转化成更有意义的知识或模型。 所以在建模比赛中， 只要数据量还比较大， 就有机器学习的用武之地。 1. MATLAB机器学习概况 机器学习 ( Machine Learning ) 是一门多领域交叉学科
Logistic Regression(逻辑回归)属于监督学习算法, 它是一种概率估计, 通过最优化算法(如梯度上升算法)来确定最佳回归系数, 根据回归系数建立分类边界线, 对训练集进行分类. 优点 计算代价不高, 易于理解和实现 缺点 容易欠拟合, 分类精度可能不高 适用数据类型 数值型, 标称型基础概念1.回归在数学上来说是给定一
转载
2024-05-06 15:29:42
87阅读
史晨策1, 徐民凯2, 朱兆辰3,4, 张伟楠2, 张铭1, 唐建3,5,61 北京大学计算机科学技术系2 上海交通大学3 魁北克学习算法研究院(Mila)4 蒙特利尔大学5 蒙特利尔大学高等商学院6 CIFAR AI Research Chair网址：https://arxiv.org/abs/2001.09382代码链接：https://git
转载
2023-12-21 11:30:03
70阅读
VAR向量自回归模型一、外生变量和内生变量内生变量内生变量是具有某种概率分布的随机变量，它的参数是联立方程系统估计的元素，是由模型系统决定的，同时也对模型系统产生影响。内生变量–般都是明确经济意义变量。一般情况下，内生变量与随机项相关，即在联立方程模型中，内生变量既作为被解释变量，又可以在不同的方程中作为解释变量。外生变量外生变量一般是确定性变量，或者是具有临界概率分布的随机变量，其参数不是模型系
转载
2024-05-12 17:55:21
119阅读
关于语言模型(自回归AR和自编码AE)如何结合特征提取器（LSTM和Transformer）的词表征模型（词向量的预训练模型），如ELMO、GPT、BERT、XLNET等，论文An introduction of Deep Learning Based Word Representation Applied to Natural Language Processing做了完整的介绍。 以下介绍自己
