我在Windows下训练自己数据集时遇到了很严重的问题，明明训练的loss收敛的很漂亮，但是检测出来的结果要么是mAP很低不超过0.5，要么就是所有的mAP一直为同一个非常低的值。针对这个问题，我曾经以为：1）用Python3导致与Faster R-CNN的版本不一致，没有用！！2） 数据集质量不高：数量太少，图片分辨率不够，图片大小不符合要求，也是没有用！！3）clone to Faster R
转载
2024-09-12 14:23:06
52阅读
如图1所示，假设现在有两个样本，分别拥有两个特征，如下： 肿瘤的大小（厘米）的发现时间（天）样本11200样本2五100计算两个样本之间的欧拉距离：D = ，这个计算结果很明显是被时间主导的。所以，将时间以年为单位，那么两个样本之间的欧拉距离就是：D = ，这个计算结果又很明显的是被肿瘤大小主导的。根据这个问题，我们提出了数值归一化：将所有的数据映射到同一个尺度。
1、交叉验证交叉验证：为了让被评估的模型更加准确可信。交叉验证：将拿到的数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次（组）的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。2、超参数搜索-网格搜索通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种
在pattern recognition与machine learning的相关研究中，经常会将dataset分为training跟test这两个subsets，前者用以建立model，后者则用来评估该model对未知样本进行预测时的精确度，正规的说法是generalization ability。交叉验证（Cross validation)，有时亦称循环估计， 是一种统计学上
转载
2024-04-02 16:23:46
68阅读
数据集VOC2007的数据集格式，主要包括三个部分: JPEGImages Annotations ImageSets/MainJPEGImagesAnnotationsImageSets/Main 这部分非常重要，数据集做不好直接导致代码出现异常，无法运行，或者出现奇怪的错误，我也是掉进了很多坑，爬上来之后才写的这篇博客，希望大家不要趟我趟过的浑水！每一个部分我都会细说的！JPEGImages
很显然，这是一道送分题，你要坚定的说不需要。原因如下：随机森林属于bagging集成算法，采用Bootstrap，理论和实践可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中。故没有参加决策树的建立，这些数据称为袋外数据oob，歪点子来了，这些袋外数据可以用于取代测试集误差估计方法，可用于模型的验证。袋外数据(oob)误差的计算方法如下：对于已经生成的随机
原创
2021-01-29 21:08:56
2714阅读
支持向量机支持向量机（SVM）是基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。给定训练样本集\(D={(x_1,y
在机器学习中，将数据集A 分为训练集（training set）B和测试集（testset）C，在样本量不充足的情况下，为了充分利用数据集对算法效果进行测试，将数据集A随机分为k个包，每次将其中一个包作为测试集，剩下k-1个包作为训练集进行训练。 在matlab中，可以利用： indices=crossvalind('Kfold',x,k); 来实现随机分包的操作，其中x为一个N维列向量（N为数据
交叉验证（Cross Validation，CV）是一种常见的模型评估方法。简言之，就是将样本分为训练集（tranning set）和测试集（test set），训练集用来估计模型参数，测试集用来评价模型精度。交叉验证有多种类型，本篇主要介绍以下三种：留一法交叉验证k折交叉验证重复k折交叉验证1 留一法交叉验证假设样本数为，留一法交叉验证（Least-One-Out Cross-Validatio
转载
2023-12-07 06:25:50
309阅读
训练集、验证集、测试集如果给定的样本数据充足，我们通常使用均匀随机抽样的方式将数据集划分成3个部分——训练集、验证集和测试集，这三个集合不能有交集，常见的比例是8:1:1。需要注意的是，通常都会给定训练集和测试集，而不会给验证集。这时候验证集该从哪里得到呢？一般的做法是，从训练集中均匀随机抽样一部分样本作为验证集。训练集训练集用来训练模型，即确定模型的权重和偏置这些参数，通常我们称这些
转载
2024-01-04 12:08:01
54阅读
文章目录前言一、将nii图像数据转成npy格式二、加载数据1.加载数据，Dataset.py:1.一些其他函数，utils.py:二、建模 model.py二、训练 train.py二、预测 predict.py总结 前言本文从数据预处理开始，基于LeNet搭建一个最简单的3D的CNN，计算医学图像分类常用指标AUC，ACC，Sep，Sen，并用5折交叉验证来提升预测指标，来实现3D的MRI图像
转载
2024-03-21 15:23:49
88阅读
1. 超参数有哪些 与超参数对应的是参数。参数是可以在模型中通过BP（反向传播）进行更新学习的参数，例如各种权值矩阵，偏移量等等。超参数是需要进行程序员自己选择的参数，无法学习获得。 常见的超参数有模型（SVM，Softmax，Multi-layer Neural Network,…)，迭代算法（Adam,SGD,…)，学习率（learning rate)(不同的迭代算法还有各种不同的超参
转载
2024-06-06 10:45:57
103阅读
任务【任务七-模型融合】用你目前评分最高的模型作为基准模型，和其他模型进行stacking融合，得到最终模型及评分。Stacking原理：Stacking模型本质上是一种分层的结构。第一层使用5-折交叉验证，5折交叉验证就是先拿出四折作为training data，另外一折作为testing data。 注意：在stacking中此部分数据会用到整个traing set。如：假设我们整个
# Python交叉验证训练代码详解
随着数据科学和机器学习的迅速发展，模型的评估方法变得愈加重要。交叉验证是一种常用的模型评估技术，可以有效地防止模型的过拟合，确保所构建模型的泛化能力。本文将带领你一步一步实现“Python交叉验证训练代码”。我们将通过一个简单的案例，具体演示如何使用交叉验证来评估模型的性能。
## 流程概述
在实现交叉验证之前，首先需要了解整个流程。下面是一个简单的流程
原创
2024-09-03 05:53:08
35阅读
一般来说，验证集越大，我们对模型质量的度量中的随机性（也称为“噪声”）就越小，它就越可靠。但是，通常我们只能通过划分出更多训练数据来获得一个大的验证集，而较小的训练数据集意味着更糟糕的模型！而交叉验证可是用来解决这个问题。什么是交叉验证？在交叉验证中，我们将数据集(一般为训练集，不包括验证集)等量划分成几个小的子集，然后对不同的子集运行建模过程，以获得每个子集模型的拟合效果的指标（可用MAE 平均
转载
2024-05-08 16:18:28
433阅读
算法改进相比于上一章节分享的代价敏感随机森林而言，这次引入了特征选择和序贯分析。 参考文献的特征选择算法只是单纯的计算出一个特征代价向量使随机过程更具有倾向性，但并未考虑特征间的相对关系，并且在特征区分度不大时退化成普通的RF算法。 鉴于此，提出了三点改进： 1）在生成特征向量阶段引入序贯分析 2）在Gini系数上做了调整 3）在决策树集成阶段引入了代价敏感，选择代价少的前90%的决策树（经实验计
转载
2024-03-27 12:52:19
17阅读
在进行模型的测试时，我们会将数据分为训练集和测试集。在给定的样本数据中，拿出大部分的数据作为训练集去训练模型，剩余的部分作为测试集对刚建立的模型进行预测。一般测试集的数据占比取25%。为了让建立出的模型更加准确可信，需要采取一些方法对模型进行优化。交叉验证N折交叉验证： 将样本数据平均分成k份（k折交叉验证，10折交叉验证最常用）子样本数据（除测试集以外），其中一份子样本数据被保留成验证集数据，剩
转载
2024-03-24 20:28:14
264阅读
一、集成学习在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。集成方法是将几种机器学习技术组合成一个
转载
2024-08-16 16:44:10
71阅读
目录集成学习决策树BoostingAdaboostGBDT梯度提升决策树是属于boosting集成学习的一种方法，通过构建多颗CART回归树，每一轮利用上一轮学习器的残差进行树的创建。该残差使用LossFunction的负梯度进行拟合。XGBoost对GBDT的提升LGB对XGB的提升Bagging随机森林简介随机森林构建python中使用随机森林为什么选决策树作为基分类器 偏差和方差总
转载
2024-05-27 23:08:00
65阅读
线性回归线性回归的概念线性回归原理极大似然法极大似然估计（概率角度的诠释）线性回归损失函数、代价函数、目标函数线性回归的优化方法梯度下降法最小二乘法矩阵求解牛顿法拟牛顿法线性回归的评价指标sklearn.linear_model参数详解：代码部分先尝试调用sklearn的线性回归模型训练数据最小二乘法的矩阵求解梯度下降法参考 线性回归的概念1、线性回归的原理 2、线性回归损失函数、代价函数、目标
