机器学习笔记（二）1.误差的来源测试集上的误差来源于bias和variance样本值的均值不等于总体分布的均值，其期望为总体分布的均值：
2.样本值的样本方差的期望与总体方差不一致：2.减少误差的方法随着采样数量N的增加，两者会愈发接近。估测f的中心点为bias，分散程度为variance。bias和variance造成的影响越简单的模型受采样数据的影响也就越小。上图模型依次变得复杂，受采样数据的
当您对一组人进行研究时，几乎不可能从该组中的每个人那里收集数据。 而是选择一个样本。 样本是将实际参与研究的一组个人。为了从结果中得出有效的结论，您必须仔细决定如何选择代表整个群体的样本。 采样方法有两种：概率抽样涉及随机选择，使您可以对整个组进行统计推断。非概率采样涉及基于便利性或其他条件的非随机选择，使您可以轻松收集初始数据。人口与样本首先，您需要了解总体与样本之间的差异，并确定研究的目标人群
转载
2024-08-27 21:52:02
21阅读
样本不平衡时，如果简单采用准确率来评估模型，比如正负比例为1：99，那么只要简单的把所有样本都判定为负类，准确率都可以达到99%。这显然不合理。有时对少数类错分情况的后果很严重，比如癌症患者被误诊为健康人。所以需要的分类器应该是在不严重损失多数类精度的情况下，在少数类上获得尽可能高的精度。一般对于样本不平衡问题，有两类解决办法。数据层面过采样（over-sampling）直接从少数类样本里随机重复
转载
2024-04-23 10:23:59
127阅读
作业1. 什么是bootstraps？参考：百度百科：自助法机器之心：自助（抽样）法如何构建稳固的机器学习算法：Boosting&BaggingBootstraps即Bootstrap Method，中文为自主采样法或自助法。一种从给定训练集中有放回的均匀抽样，也就是说，每当选中一个样本，它等可能地被再次选中并被再次添加到训练集中。（百度百科：自助法）为了从单个样本中产生多个样本，boot
一、在机器学习模型构建的时候，我们往往会遇到数据样本正负比例极其不平衡的情况，例如在征信模型或者判断客户购买商品是否使用分期时，往往正负样本比达到10:1，这样会造成许多实际问题。样本不均衡会导致：对比例大的样本造成过拟合，也就是说预测偏向样本数较多的分类。这样就会大大降低模型的范化能力。往往accuracy（准确率）很高，但auc很低。解决办法：1.上采样：增加样本数较少的样本，其方式是直接复制
转载
2024-02-28 08:53:10
478阅读
一、适用范围Heckman两阶段模型适用于解决由样本选择偏差（sample selection bias）造成的内生性问题。在经济学领域，样本选择偏差的典型例子是研究女性的受教育情况对女性工资的影响。按照这个思路，一般会去问卷收集或在哪个网站下载部分女性的受教育情况，工资，及其他特征数据，例如年龄，毕业院校等级等个人特征，然后做回归。不过这样做有一个问题，就是登记的女性，都是在工作的，但是许多受教
转载
2024-02-19 17:32:09
1450阅读
参考Paper《Bias and Debias in Recommender System: A Survey and Future Directions》1、selection bias选择性偏差指的是在研究过程中因样本选择的非随机性而导致得到的结论存在偏差。用户倾向于给自己喜欢或者不喜欢的物品进行打分。通常的解决办法有propensity score，同时学习打分预测任务和缺失数据预测任务。例
转载
2024-05-21 21:09:09
818阅读
零样本忠实事实错误纠正摘要1. 介绍2. 工作3. 方法3.1 声明答案生成3.2 问题生成3.3 问答3.4 QA to 声明3.5 修正评分3.6 领域适应4. 实验5. 结果8. 限制 事实一致性优化方法 (可以算作事后优化)查看资料 是否可以应用在gc上面 摘要 忠实地纠正事实错误对于维护文本知识库的完整性
转载
2024-09-01 18:52:02
67阅读
1. 内生性来源内生性问题 (endogeneity issue) 是指模型中的一个或多个解释变量与误差项存在相关关系。换言之，如果 OLS 回归模型中出现 ，则模型存在内生性问题，以致于 OLS 估计量不再是一致估计。进一步，内生性问题主要由以下四种原因导致。1.1 遗漏变量在实证研究中，研究者通常无法控制所有能影响被解释变量的变量，因此遗漏解释变量 (omitted variable
偏倚的分类以及其在不同的流行病学研究方法中会出现的偏移类型并不容易区分，也成为易考点和常考点，所以本文就偏移的分类以及在不同流行病学研究方法会出现的偏移进行了总结归纳：一、选择偏倚包括入院率偏移(伯克森偏移)、现患病例-新发病例偏倚(奈曼偏移)、检出症候偏倚、无应答偏倚(失访偏倚是其另一种表现形式)和易感性偏倚。选择偏倚在各类流行病学中均可发生。其中，现况研究易出现无应答偏倚(但不包括失访偏倚);
转载
2024-06-12 14:51:45
271阅读
# Python随机选择样本
在数据分析和机器学习的过程中，我们经常需要从给定的数据集中随机选择一部分样本进行分析或训练。Python中有多种方法可以实现随机选择样本的功能，本文将介绍其中的几种常用方法，并提供相应的代码示例。
## 1. 使用random模块
Python的标准库中的random模块提供了随机数生成的功能，我们可以利用它来实现随机选择样本的功能。下面的代码示例演示了如何使用
原创
2023-09-19 17:06:05
220阅读
开方检验最基本的思想：通过观察实际值与理论值的偏差来确定理论的正确与否。具体实现：具体做的时候常常先 （1）假设两个变量确实是独立的（行话就叫做“原假设”）， （2）然后观察实际值（也可以叫做观察值）与理论值（这个理论值是指“如果两者确实独立”的情况下应该有的值）的偏差程度。如果偏差足够小，我们就认为误差是很自然的样本误差，是测量手段不够精确导致或者偶然发生的，两者确确实实是独立的，此时就接受原假
---恢复内容开始---1、样本类别不均衡的解决办法把数据进行采用的过程中通过相似性同时生成并插样“少数类别数据”，叫做SMOTE算法对数据先进行聚类，再将大的簇进行随机欠采样或者小的簇进行数据生成把监督学习变成无监督学习，舍弃掉标签把问题转化为一个无监督问题，如异常检测先对多数类别进行随机的欠采样，并结合boosting算法进行集成学习1.1、简单通用的算法有哪些对较多的那个类别进行
前言在深度学习的一些场景下，经常会出现类别不平衡的情况。以二分类为例，正负样本比例为1:1的情况十分罕见；多数情况下都是1:N，N有时甚至超过10，甚至几十上百都有。在多次遇到这种问题后写了该博客进行总结。方法1、欠采样和过采样欠采样是在多数类中进行部分采样，过采样是在少数类中重复采样。过采样和修改目标函数中正负项系数是等价的，但实际操作中效果一般不会相同。2、数据增强数据增强分图像和文本，这里分
转载
2024-10-22 20:25:26
36阅读
Anchor-based的目标检测器通过Anchor来得到一系列密集的候选框，然后按照一定阈值将候选框分成真样本（前景）和负样本（背景），最后按照一定的采样策略来进行训练。目标检测中广泛采用的采样策略是随机采样（正样本和负样本按照一定比例随机采样），然而随机采样并不能保证能够选取得到更有价值的样本（使检测器更鲁棒）。 在探索更有效的采样策略的过程中，产生了两类方法： Hard Sampling：从
转载
2024-07-16 06:45:25
163阅读
两个方面： 1 数据抽样，2 从算法角度出发，考虑不同误分类情况代价的差异性对算法进行优化。1-1 欠采样：随机采样1-2 过采样：smote 算法SMOTE算法: 即合成少数类过采样技术，它是基于随机过采样算法的一种改进方案，由于随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产生模型过拟合的问题，即使得模型学到的信息过于特别而不够泛化，SMOTE 算法的实习是对少数样本进行分析并根据
转载
2024-08-21 10:07:11
123阅读
数据挖掘的重点在数据，当数据不平衡的时候怎么办呢？ 问题：研究表明，在某些应用下，1∶35的比例就会使某些分类方法无效，甚至1∶10的比例也会使某些分类方法无效。 （1）少数类所包含的信息就会很有限，从而难以确定少数类数据的分布，即在其内部难以发现规律，进而造成少数类的识别率低 （2）数据碎片。很多分类算法采用分治法，样本空间的逐渐划分会导致数据碎片问题，这样只能在各个独立的子空
转载
2024-08-24 21:05:34
77阅读
0 引言我们在处理实际业务时，经常会遇到训练数据中不同类别样本比例差距过大的情况。例如银行贷款业务欺诈问题，我们要清楚银行贷款业务主要识别的就是具有一定风险的贷款客户，而实际样本中，大多数都是及时偿还的正样本，只有少数是未偿还的负样本，如果我们不做任何预处理，模型很可能因为正样本数量多，而把很多风险客户识别成正常客户，造成损失。所以首先要明确具体业务的根本要求。下面是我总结的解决办法，有什么问题希
转载
2024-08-21 12:03:46
65阅读
一、偏倚（bias）和方差(variance)在讨论线性回归时，我们用一次线性函数对训练样本进行拟合（如图1所示）；然而，我们可以通过二次多项式函数对训练样本进行拟合（如图2所示），函数对样本的拟合程序看上去更“好”；当我们利用五次多项式函数对样本进行拟合（如图3所示），函数通过了所有样本，成为了一次“完美”的拟合。图3建立的模型，在训练集中通过x可以很好的预测y，然而，我们却不能预期
一、前言 1、条件概率 书写形式：P(A|B)，表示在条件B下A出现的概率。2、相关事件和独立事件 3、用好图表二、描述统计目的是描述数据特征，找出数据的基本规律，举例如下：三、推断统计 统计学本质：用样本的统计量推断总体的参数1、统计学的两大定理：大数定律和中心极限定理大数定律：在随机试验中，每次出现的结果不同，但是大量
转载
2024-04-24 17:18:47
65阅读
