文章目录一瞥什么是样本类别分布不均衡？样本类别分布不均衡导致的危害？解决方法：1.通过过抽样和欠抽样解决样本不均衡（1）过抽样（over-sampling）：通过增加分类中少数类样本的数量来实现样本均衡，比较好的方法有SMOTE算法。（2）欠抽样（under-sampling）：通过减少分类中多数类样本的数量来实现样本均衡2.通过正负样本的惩罚权重解决样本不均衡（1）带权值的损失函数：（2）难例
转载
2024-03-01 14:14:56
281阅读
讲解的非常好的文章推荐：https://zhuanlan.zhihu.com/p/102708578一.为什么权重初始化值得学习？正向传播中：权重w比1小，随着层数增加，权重连乘会导致结果出现指数级减少；权重比1大，随着层数的增加，权重连乘会导致结果出现指数爆炸式增长。反向传播中：这些因子连续相乘，带来的影响是指数级的。
我们希望的是损失函数收敛时，梯度为0（接近0），这时损失函数不再下降。
在第一章中作者使用的权重初始化方法是将权重以标准正态分布N~(0,1)进行初始化，本章作者介绍使网络更加高效的权重初始化方式。作者假设网络有1000个输入，其中500个值为0，500个值为1，第一隐藏层的节点未激活输出为，那么其输出实际上就是501个独立正态分布变量之和，其中包括500个w和1个bias。独立的正态分布变量之和仍然是正态分布，则未激活输出仍然满足正态分布N~(0，501)，即其方差
sklearn练习-1K近邻算法（knn）练习 K近邻算法（knn）API：sklearn.neighbors.KNeighborsClassifierKNeighborsClassifier(
n_neighbors=5,
weights='uniform', #uniform neighbors权重相同
algorithm='auto',
leaf_size=30,
p=2,
metric
AdaBoost是boosting的一种方法，其原理是通过改变训练样本的权重，得到m个不同的分类器，每个分类器根据其误差率em，有不同的权重系数alpha m，最后组合这些不同的分类器，得到最终的分类器。
具体地，首先所有样本权重都初始化为一样，学习之后或得一个em，根据em计算alpha m = 1/2* ln((1-em) / em)，易知，em小于0.5的时候，em越大，alpha m也就小
转载
2024-05-19 08:14:02
128阅读
1 简介在某些时候，我们可能会遇到一些大问题，那就是正样本特别少,负样本特别多（样本不均衡）。在样本不均横的时候，其数据集在一定程度上会极大影响模型的训练。那么如何处理这类的问题呢？2 类别不平衡样本处理三招2.1 加权处理在绝大多数的模型中，模型可以使用类别权重，或则样本权重进行训练。加权的操作很简单,步骤如下:遍历每一个样本;如果样本满足某一个要求，就定义权重; （例如在不平衡的二分类中,如果
转载
2024-05-15 13:41:06
208阅读
加了权重样本的AUC如何计算？对理解roc_auc_score函数里sample_weight参数以及xgb模型赋予样本权重再评估都有帮助哦～一、roc_auc_score函数中有个参数是sample_weight，可以给样本设置权重。一直不太理解加上weight怎么来计算AUC，先放个可选参数插图康康。二、直到有一天，我不得不面对这个问题。起因竟然是比较熟悉的xgboost（其实是硬往自己脸上贴
转载
2024-03-25 21:12:57
1596阅读
一、K邻近算法的基本概念 一个样本在特征空间中最邻近(距离)的K个样本大多数属于某一个类别，则该样本也属于这个类别。二、sklearn使用欧氏距离实现KNN算法# 倒入sklearn库中的KNN算法类
from sklearn.neighbors import KNeighborsClassifier
# 创建KNN算法实例并设置K值
KNN_classifier = KNeighborsCl
Pytorch中报错报错信息非常多，这里简单总结十六种常见的报错信息，方便大家Debug1报错：ValueError: num_samples should be a positive integer value, but got num_samples=0可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没
文章目录1.背景2.相关工作3.从旧类到新类3.1 FSCIL3.2 FSCIL的后向兼容性训练4. FSCIL的前向兼容训练4.1 用虚拟原型进行预训练4.2 使用虚拟原型进行增量推理5. 实验 本文关注的问题是少样本类增量学习（Few Shot Class Incremetal Learning, FSCIL）当前主流的方法基本上都是在学习新类的同时不忘记旧类，侧重于对于旧类的遗
摘要: 本贴结合例子与程序分析 NB 算法. Naive Bayes 是一个经典的、有代表性的分类算法. Naive 的 i 上面应该是两个点, 它读作 “哪义乌”, 表示很傻瓜很天真. Bayes 是一个神职人员, 也是概率界的一个神级人物. 中国程序猿喜欢把它读作 “牛逼算法”, 其实也没吹的那么厉害.1. 例子数据集 1: 符号型符号型数据集, 还是用 weather 吧. 可在 https
转载
2024-09-27 01:09:42
138阅读
文章目录前言1. 类别权重如何计算2. tensorflow.keras.model.fit API 配置3. 实现方法3.1 数据集介绍3.2 代码实现3.3 完整代码相关API 官方文档 代码环境：python-3.7.6tensorflow-2.1.0前言最近几个月一直在做时间序列分类相关的工作，在实际应用工作中，调整模型参数对模型的性能表现的影响比较大。通过设置分类权重平衡原来数据集中样
转载
2024-06-08 17:17:31
812阅读
SVM核函数：线性核函数、多项式核函数、径向基核函数、高斯核函数、幂指数核函数、拉普拉斯核函数、ANOVA核函数、二次有理核函数、多元二次核函数、逆多元二次核函数以及Sigmoid核函数，傅里叶核，样条核 参考SVM核函数关于 logit 回归和 SVM 不正确的是（A） A. Logit回归目标函数是最小化后验概率 B. Logit回归可以用于预测事件发生
转载
2024-08-02 07:59:31
80阅读
目录1 无监督 (unsupervised) 方法1.1 统计方法（TF, TF-IDF, YAKE)1.2 图方法 (TextRank, SingleRank, TopicRank, PositionRank)2 有监督 (supervised ) 统计方法2.1 Delta TF-IDF2.2 TF-IDF-ICF2.3 TF-RF2.4 TF-IGM2.5 CTF-ICF3 有监督 (su
模型训练中，如果希望模型更偏向某一类数据或更聚焦于某一批样本，可以采用对数据类别和数据加权的形式达到上述效果。keras 默认设置下，样本的权重取决于其在数据集中的频率，即原始样本的分布。有两种方法可以对数据进行加权，而与采样频率无关。Tips：如下代码为方便测试跑通准备，分别构建了深度模型并加载了手写数字识别数据，可以直接忽略看后面~def get_uncompiled_model():
转载
2024-04-05 22:37:10
401阅读
1.1多项式拟合生成目标数据目标数据集的生成方式:首先计算函数sin (2πx) 的对应的值然后给每个点增加一个小的符合高斯分布的随机噪声通过使用这种方式产生数据,它们拥有一个内在的规律,这个规律是我们想要学习的。同时也包含随即噪声，这种噪声可能由随机的过程产生，也可能是由于存在没有被观察到的具有变化性的噪声源。训练数据和测试数据:训练数据用来训练多项式模型,来学习数据中的规律测试数据,测试模型在
转载
2024-09-29 15:39:46
31阅读
boostingBoosting 算法的特点在于：将表现一般的亚博弱分类器通过组合变成更好的体育app模型。代表自然就是我们的随即森林了。GBDT和Adaboost是boost算法中比较常见的两种，这里主要讲解Adaboost。AdaboostAdaboost算法的核心就是两个权重。对于数据有一个权重，权重大的数据计算的损失就大；然后对于每一个弱分类器有一个权重，这个权重就是每一个弱分类器最终投票
转载
2024-10-31 20:21:33
43阅读
特征值分解和奇异值分解（SVD）在主成分分析（PCA）和机器学习领域都有广泛的应用。PCA的实现由两种方法，一种是特征值分解，另一种是奇异值分解，特征值分解和奇异值分解的目的是一样的，都是提取出一个矩阵最重要的特性。特征值线性代数中对特征值和特征向量的定义：设A是n阶方阵，如果存在 λ 和n维非零向量x，使 Ax=λxAx=λx，则 λ 称为方阵A的一个特征值，x为方阵A对应于或属于特征值 λ 的
转载
2024-10-17 21:57:24
54阅读
基本概念 范数 L0范数：在对抗样本中，常指对抗样本相对原始图片所修改像素的个数。 L1范数：也叫做曼哈顿距离、最小绝对误差，度量两个向量之间的差异，表示向量中非零元素的绝对值之和。 L2范数：欧氏距离就是L2范数，表示向量元素的平方再开方。指对抗样本相对原始图片所修改像素的变化量的平方和再开方。 无穷范数：Linf,用于度量向量元素的最大值，指对抗样本相对原始图片所修改像素的变化量绝对值的最大值
学习Logistic回归的时候，在sklearn的LogisticRegression类中，构建学习器时，有一个参数是class_weight。另外在这个类的fit方法中，有一个参数是sample_weight。对这两个参数有一些认识，写篇文章记录一下。类权重： class_weight 对于分类任务，当样本集中各个类的
转载
2024-03-21 09:06:37
231阅读
