一、在机器学习模型构建的时候，我们往往会遇到数据样本正负比例极其不平衡的情况，例如在征信模型或者判断客户购买商品是否使用分期时，往往正负样本比达到10:1，这样会造成许多实际问题。样本不均衡会导致：对比例大的样本造成过拟合，也就是说预测偏向样本数较多的分类。这样就会大大降低模型的范化能力。往往accuracy（准确率）很高，但auc很低。解决办法：1.上采样：增加样本数较少的样本，其方式是直接复制
0 引言我们在处理实际业务时，经常会遇到训练数据中不同类别样本比例差距过大的情况。例如银行贷款业务欺诈问题，我们要清楚银行贷款业务主要识别的就是具有一定风险的贷款客户，而实际样本中，大多数都是及时偿还的正样本，只有少数是未偿还的负样本，如果我们不做任何预处理，模型很可能因为正样本数量多，而把很多风险客户识别成正常客户，造成损失。所以首先要明确具体业务的根本要求。下面是我总结的解决办法，有什么问题希
一、前言 1、条件概率 书写形式：P(A|B)，表示在条件B下A出现的概率。2、相关事件和独立事件 3、用好图表二、描述统计目的是描述数据特征，找出数据的基本规律，举例如下：三、推断统计 统计学本质：用样本的统计量推断总体的参数1、统计学的两大定理：大数定律和中心极限定理大数定律：在随机试验中，每次出现的结果不同，但是大量
严格来说，即使发表的论文，协变量在匹配后也不一定更加平衡，往往是某些变量的平衡性得到提升，而另一部分变量的平衡性有所下降。因此，我们介绍一种无需检查协变量平衡性、模型依赖度更低的匹配方法 ——Coarsened Exact Matching (广义精确匹配 \ 粗粒度精确匹配)。1. CEM原理介绍常用的 PSM 方法往往无法确保在匹配后提升平衡性，而 Coarsened Exact M
样本不平衡时，如果简单采用准确率来评估模型，比如正负比例为1：99，那么只要简单的把所有样本都判定为负类，准确率都可以达到99%。这显然不合理。有时对少数类错分情况的后果很严重，比如癌症患者被误诊为健康人。所以需要的分类器应该是在不严重损失多数类精度的情况下，在少数类上获得尽可能高的精度。一般对于样本不平衡问题，有两类解决办法。数据层面过采样（over-sampling）直接从少数类样本里随机重复
一、适用范围Heckman两阶段模型适用于解决由样本选择偏差（sample selection bias）造成的内生性问题。在经济学领域，样本选择偏差的典型例子是研究女性的受教育情况对女性工资的影响。按照这个思路，一般会去问卷收集或在哪个网站下载部分女性的受教育情况，工资，及其他特征数据，例如年龄，毕业院校等级等个人特征，然后做回归。不过这样做有一个问题，就是登记的女性，都是在工作的，但是许多受教
1 偏差与方差偏差（bias）：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。方差（variance）：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。方差公式 Var(x) =E((x−E(x))2) =E(x2−2xE(x)+(E(x))2) =E(x2)−2E(x)E(x)+(E(x))2
1、误差的两大来源机器学习中有两个主要的误差来源：偏差和方差。理解它们将协助合理安排时间去执行策略来提升性能。首先了解一下数据集的分类：训练集（training set） 用于运行你的学习算法。验证集（hold-out cross validation set） 用于调整参数，选择特征，以及对学习算法作出其它决定。测试集（test set） 用于评估算法的性能，但不会据此改变学习算法或参数。偏差，
数据挖掘的重点在数据，当数据不平衡的时候怎么办呢？ 问题：研究表明，在某些应用下，1∶35的比例就会使某些分类方法无效，甚至1∶10的比例也会使某些分类方法无效。 （1）少数类所包含的信息就会很有限，从而难以确定少数类数据的分布，即在其内部难以发现规律，进而造成少数类的识别率低 （2）数据碎片。很多分类算法采用分治法，样本空间的逐渐划分会导致数据碎片问题，这样只能在各个独立的子空
一、GAN（Generative Adversarial Networks）的基本原理：一个GAN的结构包括两个模型（生成模型和判别模型）： 生成模型的作用：生成假的数据（以图像为例，图像的本质就是数组），并将假的数据交给判别模型判别模型的作用：对生成器生成的假数据作对比 二者在神经网络中都在不断的学习：最终的达到的效果是生成模型生成的假数据越来越接近于真实数据，而判别模型判别
定义选择偏差(Selection bias)是指在对个人、群体或数据进行选择分析时引入的偏差，这种选择方式没有达到适当的随机化，从而确保所获得的样本不能代表拟分析的总体。它有时被称为选择效应。https://zhuanlan.zhihu.com/p/26143968https://www.zhihu.com/question/29769549https://zhuanlan.zhihu.com/p
1、基本概念 广义的偏差（bias）描述的是预测值和真实值之间的差异，方差（variance）描述距的是预测值作为随机变量的离散程度。2、模型的偏差和方差模型的偏差是一个相对来说简单的概念：训练出来的模型在训练集上的准确度。 要解释模型的方差，首先需要重新审视模型：模型是随机变量。设样本容量为n的训练集为随机变量的集合(X1, X2, …, Xn)，那么模型是以这些随机变量为输入的随机变量函数
一、样本选择偏差与自选择偏差样本选择偏差样本选择偏差的非随机选择机制在于对样本的选择不随机。在样本数据的采集过程中，只对某部分群体进行调查，但这部分群体与其他群体在某些方面的特征差异较大，因此根据这样的样本做回归得到的普适性结论并不可信。体现在具体的数据集中就是，数据集中只有特定群体的样本，或者，虽然有全部群体的所有解释变量数据，但除特定群体之外的其他群体的被解释变量数据缺失，在这两种情况下进行的
Entire Space Multi-Task Model背景用户在网络购物时，遵循impression -> click -> conversion的用户行为序列模式，提高conversion rate是推荐系统和广告系统关注的重点。但传统的CVR分析模型存在三个明显的弊端： SSR：sample selection bias。样本选择偏差，指商品在曝光后，用户点击并购买的
Anchor-based的目标检测器通过Anchor来得到一系列密集的候选框，然后按照一定阈值将候选框分成真样本（前景）和负样本（背景），最后按照一定的采样策略来进行训练。目标检测中广泛采用的采样策略是随机采样（正样本和负样本按照一定比例随机采样），然而随机采样并不能保证能够选取得到更有价值的样本（使检测器更鲁棒）。 在探索更有效的采样策略的过程中，产生了两类方法： Hard Sampling：从
1.上采样：增加样本数较少的样本，其方式是直接复制原来的样本。样本较少时采用。2.下采样：减少样本数较多的样本，其方式是丢弃这些多余的样本。样本较多时采用。3.合成样本：增加样本数目较少的那一类的样本，合成指的是通过组合已有的样本的各个 feature 从而产生新的样本。一种最简单的方法就是从各个 feature 中随机选出一个已有值，然后拼接成一个新的样本，这种方法增加了样本数目较少的类别的样本
一、Bias（偏差） & Variance（方差）偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。在机器学习中，这两个名词经常让我们傻傻分不清。 我们不妨用案例来看看怎么区分。 假设我们正在做一个分类器，分别在训练集和验证集上测试
一、样本不平衡介绍1. 样本不平衡现象： 训练数据中各种类别样本数量差别过大，导致训练的模型对各个类别预测或分类的精度偏差比较大，比如电池故障预测，故障的数据量远远少于正常数据量，但是这些故障数据反而更重要。2. 样本不平衡影响： 训练样本不平衡，那么模型更容易偏向样本量多的类别，因为模型把样本量的大的类别预测对，整体精度也会高，就不会在意少量样本类别，但这是不对的。即模型会学习到按照样本类别比例
文章目录基本概念偏差与方差的公式推导符号假设泛化误差、偏差和方差之间的关系偏差、方差窘境偏差、方差与过拟合、欠拟合的关系？偏差、方差与bagging、boosting的关系？如何解决偏差、方差问题？ 基本概念偏差(bias)：预测结果与真实值之间的差异，排除噪声的影响，偏差是某个模型输出的样本误差。偏差是模型无法准确表达数据关系所导致的，比如模型过于简单，非线性的数据关系采用线性模型建模，偏差较
偏倚的分类以及其在不同的流行病学研究方法中会出现的偏移类型并不容易区分，也成为易考点和常考点，所以本文就偏移的分类以及在不同流行病学研究方法会出现的偏移进行了总结归纳：一、选择偏倚包括入院率偏移(伯克森偏移)、现患病例-新发病例偏倚(奈曼偏移)、检出症候偏倚、无应答偏倚(失访偏倚是其另一种表现形式)和易感性偏倚。选择偏倚在各类流行病学中均可发生。其中，现况研究易出现无应答偏倚(但不包括失访偏倚);
