一、分类算法的评估 1、二分类 ROC与AUC 1.1 roc曲线：接收者操作特征(receiveroperating characteristic) roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)；纵轴：真正类率(true postive rate TPR)灵
一、简介混淆矩阵（Confuse Matrix）准确率（Accuracy）精确率（Precision）召回率（Recall）F1-ScoreROCAUCP-R曲线（Precision-Recall Curve）多分类sklearn分类评价指标的实现二、混淆矩阵TP（True Positives）：实际为正例，预测为正例，预测对了。FN（False Negatives）：实际为正例，预测为负例，预测
R语言的再复习之路 1.OLS回归1.1 用lm()拟合回归模型格式myfit <- lm(Y ~ X1 + X2 + ... + Xk, data)符号用途~分隔符号，左边为相应变量，右边为解释变量。例如Y ~ X + Z + W+分隔预测变量:表示预测变量的交互项。例如Y ~ X + Z + X:Z*表示所有可能交互项的简洁方式。Y ~ X * Z * W即为Y
220127_202201_机器学习中一些模型评价指标简介目录220127_202201_机器学习中一些模型评价指标简介回归任务平均绝对误差（Mean Absolute Deviation）均方误差（Mean Square Error）均方根误差（Root Mean Squared Error）分类任务查准率 / 精度（Precision）召回率（Recall）F_β与F_1ROC曲线与AUC曲线
转载
2024-06-21 22:15:24
200阅读
1 标准误1.1 定义标准误（Standard Error）是用来衡量统计样本估计量（如均值、回归系数等）与总体参数之间的差异的一种统计量。标准误衡量了样本估计量的变异程度，提供了对总体参数的估计的不确定性的度量。标准误越小，表示样本估计量与总体参数的估计越接近，估计越稳定。1.2 计算公式2 聚类稳健标准误聚类稳健标准误的计算方法通常涉及到对观察数据进行分组，然后在每个组内计算残差平方，并最终将
转载
2024-07-01 21:27:17
1874阅读
Stata进阶2在一般的模型中，被解释变量的取值是连续的，如果解释变量是离散的（比如，虚拟变量），则不会影响回归。但有时被解释变量是离散的，而非连续的。那么就要选择相应的离散选择模型进行分析。一、二值选择模型1.线性概率模型、logit与probit模型直接以案例进行讲解，以数据集womenwk.dta为例，估计决定美国妇女就业与否的二值选择模型。该数据集包括以下变量：work(是否就业)，age
“对发送的内容要保守，对接收的内容要宽松”
这种明智的建议（也称为“稳健性原则”或Postel定律）在所有应用程序之间发送消息的用例中都非常有用。 通常，这些消息具有通过HTTP发送的Json有效负载。 典型的场景包括： 客户端在Json中序列化模型，然后通过HTTP将其发送到服务器。另一方面，服务器获取消息，提取请求的主体（即我们的Json），将其反序列化回模型（可以与客户端模型不同
最近看文献时，多数实验结果用到方差分析，但选的方法不同，主要有LSD，SNK-q,TukeyHSD法等，从百度广库里找了一篇文章，大概介绍这几种方法，具体公式不列了，软件都可以计算。这几种方法主要用于方差分析后，对均数间进行两两比较。均数间的两两比较根据研究设计的不同分为两种类型 ： 一种常见于探索性研究，在研究设计阶段并不明确哪些组别之间的对比是更为关注的，也不明确哪些组别问的关系已有
1.1.16. Robustness regression: outliers and modeling errors稳健回归有点难，把它整理出来太花时间了，所以我决定转载一下我自己学习是看的一篇博客。老规矩，并非完全照搬，里面有内容结果上的调整和我自己的注释，希望大家有所收获。一、最小二乘法的弊端很多关于线性回归的模型，都是基于最小二乘法来实现的。但是，当数据样本点出现很多的异常点（outlie
转载
2024-04-18 12:46:28
2287阅读
9.3使用数据集nerlove.dta，估计以下模型：其中，，，，与分别为电力企业的总成本、总产量、小时工资率、资本使用成本、燃料价格的对数。（1）使用稳健标准误，对方程进行OLS回归（2）计算VIF，是否存在多重共线性？（3）使用拟合值进行RESET检验，是否遗漏了非线性项？（4）在方程中加入lnq的平方项，重新进行回归（5）再次使用拟合值进行RESET检验，是否还遗漏了非线性项？（6）再次计算
转载
2024-05-13 20:16:42
4251阅读
1、LR和SVM有什么相同点 （1）都是监督分类算法，判别模型； （2）LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题）； （3）两个方法都可以增加不同的正则化项，如L1、L2等等。所以在很多实验中，两种算法的结果是很接近的。2、LR和SVM有什么不同点 （1）本质上是其loss function不同； 区别在于逻辑回归采用的是Logis
转载
2024-07-19 08:36:14
70阅读
线性回归之误差分析首先回顾下上一节得到的曲线长这样： 图来源于李宏毅大神~error主要来源于两方面： bias：标准差 variance：方差简单的来理解一下bias（标准差）及variance（方差）比如：“预测宝可梦进化后的战斗力的例子”我们知道一定存在一个最佳的数学模型来预测新的“宝可梦”进化后战斗力，记为（这也是我们辛辛苦苦想找的）但是，我们每次实验结果得到最好的模型并非就是，我们记为那
转载
2024-04-26 22:38:15
132阅读
mat list 与matlist的区别：
matlist is an extension of the matrix list command。
mat list 只能打印一个完整的矩阵，而matlist则可以根据行列数或者行列名打印部分矩阵。
matlist 有更多的控制选项，可以更多地改变矩阵的展示方式。实例：. matlist result[1,1]
|
# Python中的固定效应和稳健标准误
在统计学中，固定效应（fixed effects）和稳健标准误（robust standard errors）是两个重要的概念。固定效应用于面板数据（panel data）分析中，用于控制个体间的固定效应，从而减少估计量的偏误。稳健标准误则是一种对标准误进行修正的方法，使得模型更加鲁棒。
在Python中，我们可以使用一些库来进行固定效应模型的估计和稳
原创
2024-06-27 06:22:09
465阅读
前几篇我们较为详细地介绍了K-means聚类法的实现方法和具体实战，这种方法虽然快速高效，是大规模数据聚类分析中首选的方法，但是它也有一些短板，比如在数据集中有脏数据时，由于其对每一个类的准则函数为平方误差，当样本数据中出现了不合理的极端值，会导致最终聚类结果产生一定的误差，而本篇将要介绍的K-medoids（中心点）聚类法在削弱异常值的影响上就有着其过人之处。与K-means算法类似，区别在于中
一、是什么？1. 归一化 是为了将数据映射到0~1之间，去掉量纲的过程，让计算更加合理，不会因为量纲问题导致1米与100mm产生不同。线性模型做数据预处理的关键步骤，比如LR，非线性的就不用归一化了。 归一化就是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。缺点：这种方法有个缺陷就是当有新数据加入时，可能导致max和min的
一、为什么？对样本做回归分析的核心是使用最小二乘法去估计模型里的参数，比如核心解释变量前面的系数。我们通过最小二乘法使得残差平方和最小，求得样本估计系数。如果进行一次估计，由于干扰项e的存在，估计值与真实值之间一定存在差异。样本估计值与真实值之间的差别中，误差项起了关键作用。误差项是一个随机变量，每次估计都会得到不同的差异值。关于样本估计系数性质的讨论，都以误差项为核心。我们希望样本估计系数特别好
转载
2023-11-20 08:41:49
341阅读
线性回归是预测连续值的一种模型，是机器学习最基础的模型之一。可以看作是单层的神经网络。1.线性回归模型：Y=XW+b X,W,Y均为张量2.损失函数：求解真实值和预测值之间的误差，在预测连续值时，我们常使用的损失函数公式为均方误差(平均平方误差)，公式如下： 我们训练模型的目的就是找出使损失函数值最小的权重参数W和偏置参数b。参数迭代：求解各个参数的梯度(反向传播)，通过梯度
转载
2024-09-03 06:51:33
54阅读
作者： 谢雁翔 (南开大学)目录1.简介2. R 的安装下载及 Rcall 命令的安装2.1 R 的安装下载2.2 Rcall 命令的安装3. Rcall 命令及 R 语言初识3.1 Rcall 命令基本语法3.2 R 语言基本的数据类型3.3 R 语言基本的数据结构4. Stata实例4.1 Stata 与 R 语言的数据转换4.2 在 Stata 中运行 R4.3 拓展：在 R 中运行St
概念线性回归（linear regression）意味着可以把输入项分别乘以一些常量，然后把结果加起来得到输出。这个输出就是我们需要预测的目标值而这些常量就是所谓的回归系数我们把求这些回归系数的过程叫做回归，这个过程是对已知数据点的拟合过程更一般化的解释来自Tom M.Mitchell的《机器学习》：回归的含义是逼近一个实数值的目标函数标准线性回归那应该怎么求回归系数w呢。一个常用的方法是找出使得
转载
2024-03-21 21:47:38
490阅读
