四、回归算法 4.1线性回归 4.1.1线性回归的原理 回归问题-目标值是连续型数据  
Robust Variance模块中的函数用于计算线性回归、逻辑回归、多类逻辑回归和Cox比例风险回归的稳健方差（Huber-White估计）。它们可用于计算具有潜在噪声异常值的数据集中数据的差异。此处实现的Huber-White与R模块“sandwich”中的“HC0”三明治操作完全相同。  
转载
2024-05-29 10:16:56
106阅读
众所周知，最小二乘法对于异常值非常敏感，所以在面对污染数据时常常需要稳健方法。Huber提出的M估计是最流行的稳健回归估计量之一。常用的稳健估计方法通常都是针对回归模型，或者说是基于最小二乘方法。对于回归模型最小二乘法得到的估计量为本文介绍了几种基于回归模型的稳健估计方法。1.Huber回归估计量为其中 ，为预先给定的阈值。由上式可以看出，在残差绝对值小于阈值时，仍然采用平方损失。在残差
第十章 隐马尔可夫模型（HMM）摘要隐马尔可夫模型的基本概念前言生成模型和判别模型马尔可夫过程马尔可夫链马尔可夫模型隐马尔可夫模型隐马尔可夫模型的三个问题第一 概率计算第二 学习问题第三 预测问题参考文献 摘要隐马尔可夫模型（HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。隐马尔可夫模型在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛
转载
2024-09-22 06:47:49
43阅读
1 基本使用方法statsmodels.nonparametric.smoothers_lowess.lowess(
endog,
exog,
frac=0.6666666666666666,
it=3,
delta=0.0,
xvals=None,
is_sorted=False,
missing='drop',
转载
2024-04-04 15:47:57
175阅读
稳健OLS回归方法1 什么是稳健OLS在使用OLS(普最小二乘)回归时，如果存在离群值或极端值(不是人为记录错误)，那么OLS回归变得非常困难，因为没有充分证据可对极端数据进行剔除。此时稳健OLS成为较好选择：稳健OLS在剔除极端数据和保留极端数据中寻找到一种权衡，而非如OLS那样“平等”利用各观测数据。在具体估计时，对观测数据的稳健情况进行赋权，也就是将OLS转变为加权的OLS(WLS),也称为
转载
2023-12-07 00:38:47
158阅读
机器学习中回归算法基本流程1. 如何开始小朋友你是不是对机器学习有很多问好❓❓❓❓ 看着别人一直调参数，一直调参数 而自己对着原理一直停留在ABC so 我也有有很对问号 之前一直没有接触过机器学习的具体问题分析， 最近由于工作方向原因，需要学习一些机器学习针对具体业务中的实战项目， 那么，这篇文章就是我从接触到实战的一整个过程， 针对于入门和具体问题实战的一些我学习过程中的流程。如果你之前不知道
转载
2024-09-04 23:48:37
76阅读
最小二乘法的弊端之前文章里的关于线性回归的模型，都是基于最小二乘法来实现的。但是，当数据样本点出现很多的异常点（outliers），这些异常点对回归模型的影响会非常的大，传统的基于最小二乘的回归方法将不适用。当然，可以考虑在做回归分析之前，对数据做预处理，剔除掉那些异常点。但是，在实际的数据中，存在两个问题：异常点并不能很好的确定，并没有一个很好的标准用于确定哪些点是异常点即便确定了异常点，但这些
转载
2024-06-27 17:49:34
190阅读
自由度 ()：degree of freedom 平方和 ()：Sum of Square 均方 ()：Mean Square1. 方差分析表1.1 单因素方差分析表k：因素总体的个数n：观测值个数误差来源平方和自由度均方值值临界值组间（因素影响）根据显著性水平确定组内（误差）总和1.2 双因素方差分析表：行因素个数：列因素个数 （为什么不是为行因素个数，是列因素个数呢？哼？）1.2.1 无交互作
HMM:隐式马尔可夫链 HMM的典型介绍就是这个模型是一个五元组：观测序列（observations）：实际观测到的现象序列隐含状态（states）：所有的可能的隐含状态初始概率（start_probability）：每个隐含状态的初始概率转移概率（transition_probability）：从一个隐含状态转移到另一个隐含状态的概率发射概率（emission_probability）
转载
2024-10-21 18:50:13
19阅读
# Huber回归
Huber回归是一种用于处理异常值(outliers)的回归方法，它在普通最小二乘法(OLS)和绝对值误差回归(LAD)之间进行了平衡。OLS对于异常值非常敏感，而LAD对异常值不敏感但对于正常值的拟合效果较差。Huber回归能够在一定程度上同时考虑到二者的优点。
## Huber损失函数
Huber损失函数是Huber回归的核心。它的定义如下：
![Huber Los
原创
2024-01-19 08:26:22
450阅读
1.回归的定义：找到一个函数，输出一个特征值，后输出数值。如：以过去房价数据预测未来的房价，李宏毅老师油管过去节目观看人数预测未来的最近节目观看人数。2.模型步骤： (1) 模型假设–线性模型：yi=xi*w+b 其中x为features,w为weight,b为bias；xi可以为多个feature. (2)模型评估–损失函数 在模型训练资料后得到了资料的分布，从数学的角度真实值y^到y轴的垂直函
转载
2024-09-06 18:52:51
88阅读
逻辑回归是将线性回归的结果通过sigmoid函数映射到0到1的区间内，而[0,1]对应百分比即概率，从而转化为分类问题逻辑回归只能解决二分类问题。公式：e为常数：2.71；默认0.5作为阀值；z为线性回归的结果g(z)为sigmoid函数。逻辑回归的损失函数：损失函数目前整理了两种：
均方误差：不存在局部最低点，只有一个最小值，通过梯度下降可以求出最低点。对数似然损失：如下图所示存在多个局部
1.简单线性回归1.1 什么是简单线性回归kNN算法属于分类(Classification)，即label为离散的类别型(categorical variable)，如：颜色类别、手机品牌、是否患病等。而简单线性回归是属于回归(regression)，即label为连续数值型(continuous numerical variable)，如：房价、股票价格、降雨量等。那么什么是简单线性回归？所谓简
转载
2024-07-01 05:20:31
39阅读
稳健回归稳健回归（robust regression）是统计学稳健估计中的一种方法，其主要思路是将对异常值十分敏感的经典最小二乘回归中的目标函数进行修改。经典最小二乘回归以使误差平方和达到最小为其目标函数。稳健回归(robust regression)是将稳健估计方法用于回归模型，以拟合大部分数据存在的结构，同时可识别出潜在可能的离群点、强影响点或与模型假设相偏离的结构。当误差服从正态分布时，其估
转载
2023-10-28 12:52:28
122阅读
目录1.回归分析定义2.回归分析的步骤3.线性回归3.1一元线性回归模型结构模型假设最小二乘法估计回归系数误差方差的估计回归系数的区间估计和假设检验有效性检验利用一元线性回归模型进行预测matlab实现3.2多元线性回归模型结构误差方差计算回归系数区间估计和假设检验模型有效性检验预测例子4.非线性回归 基于Matlab的非线性回归分析例子1.回归分析定义根据自变量的数值预测因变量的大小，
转载
2024-04-19 13:43:53
258阅读
对于二分类问题，机器预测的和实际的还是会有所偏差，所以我们引入以下几个概念来评价分类器的优良。一、TP、TN、FP、FN概念首先有关TP、TN、FP、FN的概念。大体来看，TP与TN都是分对了情况，TP是正类，TN是负类。则推断出，FP是把错的分成了对的，而FN则是把对的分成了错的。（我的记忆方法：首先看第一个字母是T则代表分类正确，反之分类错误；然后看P，在T中则是正类，若在F中则实际为负类分成
转载
2024-08-13 10:10:01
58阅读
from matplotlib import pyplot as pltimport numpy as npfrom sklearn.linear_model import ( LinearRegression, TheilSenRegressor, RANSACRegressor, HuberRegressor)from s
原创
2022-11-02 09:48:14
123阅读
R语言的再复习之路 1.OLS回归1.1 用lm()拟合回归模型格式myfit <- lm(Y ~ X1 + X2 + ... + Xk, data)符号用途~分隔符号，左边为相应变量，右边为解释变量。例如Y ~ X + Z + W+分隔预测变量:表示预测变量的交互项。例如Y ~ X + Z + X:Z*表示所有可能交互项的简洁方式。Y ~ X * Z * W即为Y
当向听众解释压力管理的时候，讲师拿起一杯水问道：这杯水有多重？20克到500克众说纷纭。 讲师回答说：实际有多重并不重要，这要看我拿着它的时间。一分钟，没有问题。如果一个小时呢，我的右臂就会疼痛。再进一步，一天，你应该给我叫救护车了。当然每种情况下杯子的重量是相同的，但是我拿的越久，它就显得越沉。 &nbs
转载
2024-08-08 15:22:39
31阅读
