SVM核函数：线性核函数、多项式核函数、径向基核函数、高斯核函数、幂指数核函数、拉普拉斯核函数、ANOVA核函数、二次有理核函数、多元二次核函数、逆多元二次核函数以及Sigmoid核函数，傅里叶核，样条核 参考SVM核函数关于 logit 回归和 SVM 不正确的是（A） A. Logit回归目标函数是最小化后验概率 B. Logit回归可以用于预测事件发生
转载
2024-08-02 07:59:31
80阅读
Boosting算法原理与AdaBoostBoosting原理Boosting方法是使用同一组数据集进行反复学习得到的弱学习器来最终产生预测性能强大的学习器。 Boosting是通过不断减少偏差的形式来提高最终的预测效果，与之前介绍的Bagging有着本质的不同。Bagging是采用通过全样本抽样子集进行训练投票得出最终的预测，而Boosting是全样本训练优化。Bagging和Boosting的
转载
2024-07-15 06:06:49
135阅读
模型训练中，如果希望模型更偏向某一类数据或更聚焦于某一批样本，可以采用对数据类别和数据加权的形式达到上述效果。keras 默认设置下，样本的权重取决于其在数据集中的频率，即原始样本的分布。有两种方法可以对数据进行加权，而与采样频率无关。Tips：如下代码为方便测试跑通准备，分别构建了深度模型并加载了手写数字识别数据，可以直接忽略看后面~def get_uncompiled_model():
转载
2024-04-05 22:37:10
401阅读
文章目录前言1. 类别权重如何计算2. tensorflow.keras.model.fit API 配置3. 实现方法3.1 数据集介绍3.2 代码实现3.3 完整代码相关API 官方文档 代码环境：python-3.7.6tensorflow-2.1.0前言最近几个月一直在做时间序列分类相关的工作，在实际应用工作中，调整模型参数对模型的性能表现的影响比较大。通过设置分类权重平衡原来数据集中样
转载
2024-06-08 17:17:31
812阅读
基本概念 范数 L0范数：在对抗样本中，常指对抗样本相对原始图片所修改像素的个数。 L1范数：也叫做曼哈顿距离、最小绝对误差，度量两个向量之间的差异，表示向量中非零元素的绝对值之和。 L2范数：欧氏距离就是L2范数，表示向量元素的平方再开方。指对抗样本相对原始图片所修改像素的变化量的平方和再开方。 无穷范数：Linf,用于度量向量元素的最大值，指对抗样本相对原始图片所修改像素的变化量绝对值的最大值
学习Logistic回归的时候，在sklearn的LogisticRegression类中，构建学习器时，有一个参数是class_weight。另外在这个类的fit方法中，有一个参数是sample_weight。对这两个参数有一些认识，写篇文章记录一下。类权重： class_weight 对于分类任务，当样本集中各个类的
转载
2024-03-21 09:06:37
231阅读
文章目录一瞥什么是样本类别分布不均衡？样本类别分布不均衡导致的危害？解决方法：1.通过过抽样和欠抽样解决样本不均衡（1）过抽样（over-sampling）：通过增加分类中少数类样本的数量来实现样本均衡，比较好的方法有SMOTE算法。（2）欠抽样（under-sampling）：通过减少分类中多数类样本的数量来实现样本均衡2.通过正负样本的惩罚权重解决样本不均衡（1）带权值的损失函数：（2）难例
转载
2024-03-01 14:14:56
281阅读
描述：计算每个特征对样本集进行划分所获得的信息增益，然后做归一化处理可以得到每个特征的权重目标：样本降维一种算法策略：参考决策树的划分选择首先引入概念信息熵、信息增益。信息熵（information entropy）是度量样本几何纯度最常用的一种指标。假定样本集合D中第k类样本所占的比例为
转载
2024-03-27 13:05:30
119阅读
目录算法基本流程步骤3中错误率的定义分类器的权重计算公式步骤4中权重更改公式权重算法基本思路 算法基本流程给数据中的每一个样本一个权重（初始权重全部相等）训练数据中的每一个样本，得到第一个分类器计算该分类器的错误率，根据错误率计算要给分类器分配的权重（注意这里是分类器的权重）将第一个分类器分错误的样本权重增加，分对的样本权重减小（注意这里是样本的权重）然后再用新的样本权重训练数据，得到新的分类器，
转载
2024-05-13 08:05:28
153阅读
处理样本不均衡问题的方法：1、权重法（1）类别权重法class weight 权重加在类别上，若类别的样本量多，则类别的权重设低一些，反之类别的权重设高些（2）样本权重法sample weight 权重加在样本上，若类别的样本量多，则其每个样本的权重低，反之样本的权重高 &nbs
转载
2024-04-12 11:47:48
756阅读
AdaBoost是boosting的一种方法，其原理是通过改变训练样本的权重，得到m个不同的分类器，每个分类器根据其误差率em，有不同的权重系数alpha m，最后组合这些不同的分类器，得到最终的分类器。
具体地，首先所有样本权重都初始化为一样，学习之后或得一个em，根据em计算alpha m = 1/2* ln((1-em) / em)，易知，em小于0.5的时候，em越大，alpha m也就小
转载
2024-05-19 08:14:02
128阅读
最近在学习李沐的动手学深度学习的课程，这部分里会将自己遇到过的一些难以理解的地方写成文本，供大家参考，也方便我以后的学习！看到softmax的时候，李沐的实现代码讲的还是很不错的。具体对与如何用代码来理解softmax回归可以参考这篇知乎：Softmax 函数的特点和作用是什么？ - 知乎说一点自己一开始理解不了终于搞明白的地方。李沐在对于数据输入的维度调为784的一维向量，也就是说，他是从下载的
1 简介在某些时候，我们可能会遇到一些大问题，那就是正样本特别少,负样本特别多（样本不均衡）。在样本不均横的时候，其数据集在一定程度上会极大影响模型的训练。那么如何处理这类的问题呢？2 类别不平衡样本处理三招2.1 加权处理在绝大多数的模型中，模型可以使用类别权重，或则样本权重进行训练。加权的操作很简单,步骤如下:遍历每一个样本;如果样本满足某一个要求，就定义权重; （例如在不平衡的二分类中,如果
转载
2024-05-15 13:41:06
208阅读
严格的说这本书是在2013年12月去新疆的飞机上开始看的，前面几章讲得比较浅显，几乎没有什么公式，后面读起来就有点不太容易了，里面的一些统计的例子挺有意思，第9、10、12章涉及到一些概念和公式，就需要慢慢理解了，总体看来这本书还是非常适合统计学入门，拥抱大数据时代！第1章 统计学是大数据时代最炙手可热的学问学习统计学的意义是什么？用我自己的话来说，可以让我们不被淹没在浩瀚的数据海洋中，而在其中找
加了权重样本的AUC如何计算？对理解roc_auc_score函数里sample_weight参数以及xgb模型赋予样本权重再评估都有帮助哦～一、roc_auc_score函数中有个参数是sample_weight，可以给样本设置权重。一直不太理解加上weight怎么来计算AUC，先放个可选参数插图康康。二、直到有一天，我不得不面对这个问题。起因竟然是比较熟悉的xgboost（其实是硬往自己脸上贴
转载
2024-03-25 21:12:57
1592阅读
Focal Loss由(Kaiming He at., 2017)提出用于解决One-stage中正负样本不平衡的问题，同时使得网络更能挖掘困难样本的知识。 建议在看之前先看一下交叉熵的介绍：交叉熵损失函数原理详解（这篇文章对交叉熵介绍很透彻） 正负样本：在进行物体检测时，图像中的背景为负样本，物体为正样本。负样本数据大于正样本数据。 简单困难样本：出现频率高样本简单样本，出现频率低的样本为困难样
转载
2024-07-04 15:54:36
160阅读
Bagging和Boosting的区别1）偏差—方差 Boosting：从偏差—方差分解角度看，降低偏差。 Bagging：从偏差—方差分解角度看，降低方差。 2）样本选择： Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化.而权值是根据上一轮的分类结果进行调整。 Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。 3）样例权
转载
2024-07-30 09:35:06
162阅读
处理不平衡数据我们在进行机器学习和深度学习的时候，常常会遇到样本不均衡的问题，解决样本不均衡的问题常常有以下几种方法，达到平衡数据集：过采样少数类降采样多数类合成新的少数类调整类权重（误判成本）这篇文章就讲如何通过修改交叉熵loss调整类权重交叉熵误差交叉熵公式如下 这里，log表示以e为底数的自然对数。y_k是神经网络的输出，t_k是正确的标签。并且，t_k中只有正确的标签的索引为1，其他均为0
转载
2023-12-21 21:44:42
67阅读
1 语义分割时的样本均衡1.1 计算方法语义分割时，如果样本比例失衡，就需要设置 class_weight来平衡损失，那么该如何计算呢？直观的想到是，先获取图片的每个类别的像素点的个数之间的比例，然后用1去除以。比如： class1 : class2 : class3 = 100 : 10 : 1，那么 weight1 : weight2 : weight3 = 1:10:100。但这个比值偏差太
转载
2024-07-04 16:42:40
100阅读
变分自编码器（Variational Autoencoder, VAE）通俗教程 1. 神秘变量与数据集现在有一个数据集DX(dataset, 也可以叫datapoints)，每个数据也称为数据点。X是一个实际的样本集合，我们假定这个样本受某种神秘力量操控，但是我们也无从知道这些神秘力量是什么？那么我们假定这股神秘力量有n个，起名字叫power1,power2
