稳健OLS回归方法1 什么是稳健OLS在使用OLS(普最小二乘)回归时，如果存在离群值或极端值(不是人为记录错误)，那么OLS回归变得非常困难，因为没有充分证据可对极端数据进行剔除。此时稳健OLS成为较好选择：稳健OLS在剔除极端数据和保留极端数据中寻找到一种权衡，而非如OLS那样“平等”利用各观测数据。在具体估计时，对观测数据的稳健情况进行赋权，也就是将OLS转变为加权的OLS(WLS),也称为
转载
2023-12-07 00:38:47
158阅读
众所周知，最小二乘法对于异常值非常敏感，所以在面对污染数据时常常需要稳健方法。Huber提出的M估计是最流行的稳健回归估计量之一。常用的稳健估计方法通常都是针对回归模型，或者说是基于最小二乘方法。对于回归模型最小二乘法得到的估计量为本文介绍了几种基于回归模型的稳健估计方法。1.Huber回归估计量为其中 ，为预先给定的阈值。由上式可以看出，在残差绝对值小于阈值时，仍然采用平方损失。在残差
稳健回归稳健回归（robust regression）是统计学稳健估计中的一种方法，其主要思路是将对异常值十分敏感的经典最小二乘回归中的目标函数进行修改。经典最小二乘回归以使误差平方和达到最小为其目标函数。稳健回归(robust regression)是将稳健估计方法用于回归模型，以拟合大部分数据存在的结构，同时可识别出潜在可能的离群点、强影响点或与模型假设相偏离的结构。当误差服从正态分布时，其估
转载
2023-10-28 12:52:28
122阅读
每天记录软件测试基础知识的问题，来源牛客网。用于自己软件测试的巩固。答案是根据自己的理解写出。如有错误，请纠正。1.什么是回归测试？回归测试是程序有问题，拿去修复，然后返回来，那么就需要回归测试，用于验证原有的功能仍然保持正常。2.软件缺陷等级如何划分。软件缺陷等级可从严重性和优先级来划分。严重性：1.致命错误（涉及到本模块和其他模块）。2.严重错误（本模块问题）。3.一般错误（本模块部分功能失常
1 基本使用方法statsmodels.nonparametric.smoothers_lowess.lowess(
endog,
exog,
frac=0.6666666666666666,
it=3,
delta=0.0,
xvals=None,
is_sorted=False,
missing='drop',
转载
2024-04-04 15:47:57
175阅读
Robust Variance模块中的函数用于计算线性回归、逻辑回归、多类逻辑回归和Cox比例风险回归的稳健方差（Huber-White估计）。它们可用于计算具有潜在噪声异常值的数据集中数据的差异。此处实现的Huber-White与R模块“sandwich”中的“HC0”三明治操作完全相同。  
转载
2024-05-29 10:16:56
106阅读
1.回归的定义：找到一个函数，输出一个特征值，后输出数值。如：以过去房价数据预测未来的房价，李宏毅老师油管过去节目观看人数预测未来的最近节目观看人数。2.模型步骤： (1) 模型假设–线性模型：yi=xi*w+b 其中x为features,w为weight,b为bias；xi可以为多个feature. (2)模型评估–损失函数 在模型训练资料后得到了资料的分布，从数学的角度真实值y^到y轴的垂直函
转载
2024-09-06 18:52:51
88阅读
四、回归算法 4.1线性回归 4.1.1线性回归的原理 回归问题-目标值是连续型数据  
1.简单线性回归1.1 什么是简单线性回归kNN算法属于分类(Classification)，即label为离散的类别型(categorical variable)，如：颜色类别、手机品牌、是否患病等。而简单线性回归是属于回归(regression)，即label为连续数值型(continuous numerical variable)，如：房价、股票价格、降雨量等。那么什么是简单线性回归？所谓简
转载
2024-07-01 05:20:31
39阅读
对于二分类问题，机器预测的和实际的还是会有所偏差，所以我们引入以下几个概念来评价分类器的优良。一、TP、TN、FP、FN概念首先有关TP、TN、FP、FN的概念。大体来看，TP与TN都是分对了情况，TP是正类，TN是负类。则推断出，FP是把错的分成了对的，而FN则是把对的分成了错的。（我的记忆方法：首先看第一个字母是T则代表分类正确，反之分类错误；然后看P，在T中则是正类，若在F中则实际为负类分成
转载
2024-08-13 10:10:01
58阅读
# 使用Python稳健回归法拟合直线的指南
当我们需要对一组数据进行回归分析时，线性回归是最常用的方法之一。然而，传统的线性回归对于异常值非常敏感，这时候稳健回归法就显得尤为重要。本文将为你详细讲述如何使用Python实现稳健回归法来拟合直线。
## 整体流程
以下表格展示了实现稳健回归法拟合直线的主要步骤：
| 步骤 | 操作 | 代码示例
最小二乘法的弊端之前文章里的关于线性回归的模型，都是基于最小二乘法来实现的。但是，当数据样本点出现很多的异常点（outliers），这些异常点对回归模型的影响会非常的大，传统的基于最小二乘的回归方法将不适用。当然，可以考虑在做回归分析之前，对数据做预处理，剔除掉那些异常点。但是，在实际的数据中，存在两个问题：异常点并不能很好的确定，并没有一个很好的标准用于确定哪些点是异常点即便确定了异常点，但这些
转载
2024-06-27 17:49:34
190阅读
from matplotlib import pyplot as pltimport numpy as npfrom sklearn.linear_model import ( LinearRegression, TheilSenRegressor, RANSACRegressor, HuberRegressor)from s
原创
2022-11-02 09:48:14
123阅读
R语言的再复习之路 1.OLS回归1.1 用lm()拟合回归模型格式myfit <- lm(Y ~ X1 + X2 + ... + Xk, data)符号用途~分隔符号，左边为相应变量，右边为解释变量。例如Y ~ X + Z + W+分隔预测变量:表示预测变量的交互项。例如Y ~ X + Z + X:Z*表示所有可能交互项的简洁方式。Y ~ X * Z * W即为Y
拓展命令：gen lag_y=L.y 产生一个滞后一期的新变量gen F_y=F.y 产生一个超前项的新变量gen D_y=D.y 产生一个一阶差分的新变量gen D2_y=D2.y 产生一个二阶差分的新变量二．静态(短)面板数据固定效应汇总固定效应篇主要包括混合效应VS固定效应，LSDV方法、双向固定效应等1、检验个体效应(混合效应还是固定效应)(原假设：使用OLS混合模型)xtreg lngd
转载
2023-12-02 23:59:38
168阅读
1 标准误1.1 定义标准误（Standard Error）是用来衡量统计样本估计量（如均值、回归系数等）与总体参数之间的差异的一种统计量。标准误衡量了样本估计量的变异程度，提供了对总体参数的估计的不确定性的度量。标准误越小，表示样本估计量与总体参数的估计越接近，估计越稳定。1.2 计算公式2 聚类稳健标准误聚类稳健标准误的计算方法通常涉及到对观察数据进行分组，然后在每个组内计算残差平方，并最终将
转载
2024-07-01 21:27:17
1874阅读
稳健回归（Robustness regression）最小二乘法的弊端之前文章里的关于线性回归的模型，都是基于最小二乘法来实现的。但是，当数据样本点出现很多的异常点（outliers），这些异常点对回归模型的影响会非常的大，传统的基于最小二乘的回归方法将不适用。比如下图中所示，数据中存在一个异常点，如果不剔除改点，适用OLS方法来做回归的话，那么就会得到途中红色的那条线；如果将这个异常点剔除掉的话
当向听众解释压力管理的时候，讲师拿起一杯水问道：这杯水有多重？20克到500克众说纷纭。 讲师回答说：实际有多重并不重要，这要看我拿着它的时间。一分钟，没有问题。如果一个小时呢，我的右臂就会疼痛。再进一步，一天，你应该给我叫救护车了。当然每种情况下杯子的重量是相同的，但是我拿的越久，它就显得越沉。 &nbs
转载
2024-08-08 15:22:39
31阅读
Meta分析是针对某一科研问题，根据明确的搜索策略、选择筛选文献标准、采用严格的评价方法，对来源不同的研究成果进行收集、合并及定量统计分析的方法，最早出现于“循证医学”，现已广泛应用于农林生态，资源环境等方面。R语言拥有完整有效的数据处理、统计分析与保存机制，可以对数据直接进行分析和显示，命令格式简单、结果可读性强，包含众多针对Meta分析软件包，是进行Meta整合分析及评价的有效平台。本次针对M
转载
2023-10-11 16:57:59
291阅读
点集：习惯上把集合中元素有某种关系、集合内有某种结构的集合，叫做空间或者点集。【这里的“关系”和集论初步的“关系”一致，而“结构”一般比较抽象，例如“度量”，“距离”就属于集合内的一种结构。】 度量空间（距离空间）：设X是一个集合，，其中满足：(1) ；(2) .称为x，y之间的度量（或距离），称为度量空间。【为什么定义度量？点集的极限、开
