在分析数据的时候，总有那些一些数据异常无法找到适当的理由进行合理解释，也许可以换个角度来看待这些异常。为什么明明数据发生较大的起伏波动，我们绞尽脑汁还是无法找到合理的原因，这些到底是怎么样的异常，是不是存在一些共性，或者这些异常是不是我们平常所说的异常，抑或是应该归到其他类别，不妨先叫它们“难以解释的异常”。近段时间在读《思考，快与慢》这本书，作者卡尼曼的观点似乎可以给我们一些答案。卡尼曼是心理学
转载
2024-09-20 12:22:37
36阅读
摘要: 本贴讨论实验效果不好的应对措施.讲道理, 论文写作本身只涉及包装, 即将已经做好实验的创新性成果写成一篇论文. 实验效果不好, 是方案设计的问题. 但多数研究者都会遇到这个问题, 所以还是在这个板块讨论一下.对于机器学习而言, 实验效果主要受几方面的影响:方案是否合理. 虽然结果无法控制, 但方案本身有设计理念, 有物理意义. 例如, 决策树旨在使得树最小, 以防止过拟合已有样本; 线性回
本文学习目标：知道逻辑回归的损失函数、优化方法知道逻辑回归的应用场景应用 LogisticRegression 实现逻辑回归预测知道精确率、召回率等指标的区别知道如何解决样本不均衡情况下的评估会绘制 ROC 曲线图形1. 逻辑回归介绍学习目标：了解逻辑回归的应用场景知道逻辑回归的原理掌握逻辑回归的损失函数和优化方案逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回
一 线性回归（最小二乘法）假设我们有n个样本数据，每个数据有p个特征值，然后p个特征值是线性关系。即对应的线性模型写成矩阵的形式即是Y=XA由于样本与模型不一定百分百符合，存在一些噪声，即误差，用B表示，B也是一个向量即B=Y-XAY为样本值，XA为模型的计算值，即期望值误差的平方的计算公式Xi为行向量，A为列向量。最小二乘法的目标就是取得最小的e对应的A，由于方差的计算是一个二次函数
转载
2024-06-19 10:42:46
162阅读
针对自然界的样本中，对于分类任务而言，不可能取到均衡样本。遇到一些某一类标签占比太大，标签矩阵比较稀疏的时候，我们需要对样本处理才能丢给模型进行训练，训练出来的模型具有更好的拟合能力和泛化能力。 针对上述问题，先对其进行定义，如果将类别不均衡的样本扔给模型进行学习，那么模型会更好地学到占比较
转载
2023-12-28 14:53:35
44阅读
在大数据处理与机器学习领域，样本均衡是一个重要的课题，尤其是在使用Apache Spark进行大规模数据分析时。样本不均衡可能导致模型训练不稳定、偏差显著以及预测性能下降。因此，解决“Spark样本均衡”问题的方法将成为本文的重点。
## 环境准备
为了有效地处理样本均衡问题，首先需要准备合适的软硬件环境。以下是所需的环境配置：
- **硬件要求**：
- 内存：至少16GB
- C
1 数据均衡方法数据的不均衡问题往往会让模型更偏向于多数类的样本，而对少数类样本的识别表现不佳，因此数据的不均衡是模型构建中需要重点解决的问题。常用的解决方法可以划分为两个层面：一个层面是从数据的角度出发，通过采样的方式调整样本类别比例来实现数据的均衡；另外一个层面是从算法的角度考虑，通过集成的思想改进算法或者构建新的分类算法来实现数据的均衡。（1）数据层面对于数据层面而言，通过采样来实现数据的均
在机器学习模型训练中，往往希望训练得到得模型具有很好的泛化能力，得到一个在训练集上表现很好的模型。为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”。然而，学得“太好”很可能出现过拟合现象。提高泛化能力的方法有很多，其中一种可以增加样本数量。但是当带标签的样本数量有限时，该如何处理？如果只有一个包含m个样例的数据集D={(x1,y1),(x2,y2)...(x
转载
2024-05-09 12:01:56
252阅读
所谓不均衡指的是不同类别的样本量差异非常大。从数据规模上分为大数据分布不均衡和小数据分布不均衡两种。大数据分布不均衡：数据规模大，其中的小样本类的占比较少。但从每个特征的分布来看，小样本也覆盖了大部分或全部特征。例如：1000万条数据，其中占比50万条的少数分类样本属于这种情况。小数据分布不均衡：数据规模小，其中小样本的占比也较少，这会导致特征分布的严重不平衡。例如：1000条数据，其中占有10条
转载
2023-08-09 17:43:32
117阅读
数据--样本不平衡处理不同类别的样本量差异大，或少量样本代表了业务的关键数据，属于样本不平衡的情况，要求对少量样本的模式有很好的学习。大数据情况下：整体数据规模大，小样本类别占比少，但是小样本也覆盖大部分或全部特征；小数据情况下，整体数据规模小，小样本类别也少，导致样本特征分布不均匀。一般比例差异超过10倍就要注意，超过20倍就得处理工程方法中，通常从三个方面处理样本不均衡：扩大数据集，但是在扩大
转载
2023-12-05 17:22:31
56阅读
目录：一、点估计 1、矩估计法 2、顺序统计量法 3、最大似然法 4、最小二乘法二、区间估计 1、一个总体参数的区间估计：总体均值的区间估计总体比例的区间估计总体方差的区间估计 2、两个总体参数的区间估计：两个总体均值之差的区间估计两个总体比例之差的区间估计两个总体方差比的区间估计 三、样本量的确定 1、估计总体均值时样本量的确定 2、估计总体比例时样本量的确定 
1 最小二乘法的历史不管是学习机器学习、计量经济学、数理统计，很多人接触到的第一个算法就是最小二乘法（least squares method）。这是一个非常古老的方法。早在18世纪早期，在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Legendre，而数学王子Gauss据说在更早时候就发现了该方法，但直到1809年他在发表计算天体运动轨道
转载
2024-05-13 20:33:53
80阅读
这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。 适用人群：机器学习初学者，转AI的开发人员。 编程语言：Python自己在项目中拿到数据，大部分情况下都是自己切分训练集、测试集，对于训练集，经常会遇到正负样本比例很不均衡的情况，即偏斜类（Skewed Class）问题，有些时候往往还很严重，比如数据量上负样本：正样本>=100,这是比较严重的偏斜类问题，下面针对
转载
2024-03-29 20:31:49
96阅读
1、样本不均衡问题主要分为以下几类：1）每个类别的样本数量不均衡2）划分样本所属类别的难易程度不同2、Focal lossfocal loss用来解决难易样本数量不均衡，重点让模型更多关注难分样本，少关注易分样本。假设正样本（label=1）少，负样本多，定义focal loss如下Loss = -[alpha*(1-y_hat)^2yln(y_hat)+ (1-alpha)y_hat^2(1-y
转载
2024-01-12 10:53:01
147阅读
引言在分类问题中正负样本比例不平衡是很常见的问题，例如在预测CVR的时候，会有大量的负例，但是正例的数目缺不多，正负样本比例严重失衡。这是一个值得思考的问题。解决思路首先我们需要思考的是我们可否通过扩大数据集，得到更多的比例较小的样本，使新的训练集样本分布较为均衡，如果可行的话，那么这种方法值得我们考虑。 若不可行的话，可以试着从如下两个角度出发考虑：数据的角度算法/模型的角度数据的角度故名思议，
转载
2024-01-31 00:54:28
118阅读
上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。1 假设这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。假设1 线性性：\(y_i=x_i'\beta+\varepsilon_i\)，其中\(\beta\)是未知
转载
2024-01-19 10:53:39
59阅读
最近在接触用机器学习处理数据进行回归的任务，偶然看到一篇开源代码具有很好的代码规整性，所以通过写这一篇博客来介绍这部分代码。目录一、简介二、关键代码介绍2.1 得分函数2.2 验证函数2.3 评估函数三、公式化训练模型3.1 直接调用式训练3.2 手撕模型式训练四、模型测试五、总结一、简介
K-近邻算法（KNN）**适用数据范围：数值型和标称型 **原理简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：时间复杂度高、空间复杂度高。适用数据范围：数值型和标称型。工作原理存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的
线性回归：回归（regression）是指一类为一个或多个自变量与因变量之间关系建模的方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。
线性回归：回归中最简单的一类模型。线性回归基于几个简单的假设：首先，假设自变量 \(?\) 和因变量 \(?\) 之间的关系是线性的，即 \(?\) 可以表示为 \(?\)为了解释线性回归，我们举一个实际的例子：我们希望根据房屋的面积（平方英
2、线性回归算法2.1模型描述训练集——>学习算法——>模型（函数） m:训练样本数量 x：样本特征 y：输出（目标）变量 (x,y):一个训练样本 ():第i个训练样本 h:假设函数:模型参数 x——>h——>y2.2代价函数代价函数——>平方误差代价函数——>代价函数越小，说明模型和参数越符合训练样本(x,y) 平方误差代价函数是解决回归问题最常用的手段对于
转载
2024-09-29 10:58:50
33阅读
