如图1所示，假设现在有两个样本，分别拥有两个特征，如下： 肿瘤的大小（厘米）的发现时间（天）样本11200样本2五100计算两个样本之间的欧拉距离：D = ，这个计算结果很明显是被时间主导的。所以，将时间以年为单位，那么两个样本之间的欧拉距离就是：D = ，这个计算结果又很明显的是被肿瘤大小主导的。根据这个问题，我们提出了数值归一化：将所有的数据映射到同一个尺度。
总结K近邻法的工作原理：某个未知类型点的特征数据距离K个已有类型近邻点特征数据的距离，根据这个距离对未知类型的数据进行分类KNN模型超参数K值：K值不同会导致分类结果的不同距离：采用欧几里得公式求得距离适用范围：KNN适用于样本量级不够大得项目，因为它得运算成本比较高，数据量级越大，建模会耗时越长KNN分类模型分类：将一个未知归类的样本归属到某一个已知的类群中预测：可以根据数据的规律计算出一个未知
转载
2024-04-01 17:46:57
123阅读
交叉验证的原理放在后面，先看函数。设X是一个9*3的矩阵，即9个样本，3个特征，y是一个9维列向量，即9个标签。现在我要进行3折交叉验证。执行kFold = KFold(n_splits=3) ：其中KFold是一个类，n_split=3表示，当执行KFold的split函数后，数据集被分成三份，两份训练集和一份验证集。执行index = kFold.split(X=X)：index是
转载
2024-03-21 22:33:21
75阅读
# 如何实现Python KNN交叉验证
## 1. 介绍
欢迎来到本篇教程！在本文中，我将向你展示如何使用Python中的K-Nearest Neighbors（KNN）算法进行交叉验证。KNN是一种简单而有效的无监督学习算法，适用于分类和回归问题。
## 2. 流程概述
在进行KNN交叉验证之前，我们需要明确整个流程。下面是一个简单的流程表格，展示了实现KNN交叉验证的步骤及其顺序。
`
原创
2024-04-12 06:58:11
60阅读
申明：全为我今天所学的知识的简单总结，内容可能比较乱。只是为了做简单的知识的回顾和总结，可能有些知识点也可以帮助解决遇到的问题。1.pandas.read_csv()读取CSV文件。在excel文件保存的时候可以保存为csv文件。2.pandas.value_counts(data["列名“],sort=True).sort_index() 读出该列中不同属性值分别对应的个数3.样本不
1.OverFitting在模型训练过程中，过拟合overfitting是非常常见的现象。所谓的overfitting，就是在训练集上表现很好，但是测试集上表现很差。为了减少过拟合，提高模型的泛化能力，实际中会有很多措施来缓解overfitting的问题。其中一个常见的方法就是将已有数据集中保留一部分数据作为测试集，即将原有数据分为X_train, X_test，X_train用来训练模型，X_t
转载
2024-03-26 20:29:26
61阅读
交叉验证原理小结交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据， 把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。 在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。那么什么时候才需要交叉验证呢？交叉验证用在数据不是很充足的时候。比如在
转载
2024-04-12 11:47:20
56阅读
过拟合、欠拟合及其解决方案1.概念 无法得到较低的训练误差称作欠拟合 得到的误差极小即远小于训练集的误差称作过拟合2.模型选择验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证
# R语言 KNN 交叉验证：提升模型性能的利器
在机器学习领域，K最近邻（KNN）算法因其简单有效而广泛应用。尤其在分类问题中，KNN通过测量样本间的距离来判断分类。然而，为了提升模型性能，我们需要验证模型的有效性，而交叉验证（Cross-Validation）则是常用的方法之一。本文将介绍如何在R语言中使用交叉验证来优化KNN模型，并提供代码示例。
## KNN算法介绍
KNN是一种基于
原创
2024-10-05 03:59:55
125阅读
我在Windows下训练自己数据集时遇到了很严重的问题，明明训练的loss收敛的很漂亮，但是检测出来的结果要么是mAP很低不超过0.5，要么就是所有的mAP一直为同一个非常低的值。针对这个问题，我曾经以为：1）用Python3导致与Faster R-CNN的版本不一致，没有用！！2） 数据集质量不高：数量太少，图片分辨率不够，图片大小不符合要求，也是没有用！！3）clone to Faster R
转载
2024-09-12 14:23:06
52阅读
很显然，这是一道送分题，你要坚定的说不需要。原因如下：随机森林属于bagging集成算法，采用Bootstrap，理论和实践可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中。故没有参加决策树的建立，这些数据称为袋外数据oob，歪点子来了，这些袋外数据可以用于取代测试集误差估计方法，可用于模型的验证。袋外数据(oob)误差的计算方法如下：对于已经生成的随机
原创
2021-01-29 21:08:56
2721阅读
常用交叉验证法包括K折叠交叉验证法(K-fold cross validation)、随机拆分交叉验证法(shuffle-split cross validation)、挨个儿试试法（leave-one-out)。K折叠交叉验证法(K-fold cross validation)K折叠交叉验证法将数据集拆分成K个部分，再用K个数据集对模型进行训练和评分。例如K=5，则数据集被拆分成5个，其中第一个
转载
2023-09-29 21:27:50
77阅读
# KNN与10倍交叉验证的应用
K近邻算法（KNN, K-Nearest Neighbors）是一种简单而有效的分类和回归方法。通过查找输入数据点的K个最近邻居，KNN可以根据邻居的数据点进行分类和预测。为了评估模型的性能，我们通常需要使用交叉验证的方法，其中10倍交叉验证是一种广泛使用的策略。
## 1. KNN算法简介
KNN是一种基于实例的学习方法，其核心思想是相似的数据点往往在同一
支持向量机支持向量机（SVM）是基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。给定训练样本集\(D={(x_1,y
交叉验证是一种模型选择方法和调参方法，它随机地将数据集 切分成三部分，分别为训 练集(training set)、验证集(validation set)和测试集(test set)。训练 集用来
原创
2024-05-24 10:28:58
172阅读
前言回归与分类是机器学习中的两个主要问题，二者有着紧密的联系，但又有所不同。在一个预测任务中，回归问题解决的是多少的问题，如房价预测问题，而分类问题用来解决是什么的问题，如猫狗分类问题。分类问题又以回归问题为基础，给定一个样本特征，模型针对每一个分类都返回一个概率，于是可以认为概率最大的类别就是模型给出的答案。但有时模型给出的每一类的概率并不满足概率的公理化定义，这时就要用到softmax回归。交
转载
2024-04-06 13:35:16
58阅读
算法改进相比于上一章节分享的代价敏感随机森林而言，这次引入了特征选择和序贯分析。 参考文献的特征选择算法只是单纯的计算出一个特征代价向量使随机过程更具有倾向性，但并未考虑特征间的相对关系，并且在特征区分度不大时退化成普通的RF算法。 鉴于此，提出了三点改进： 1）在生成特征向量阶段引入序贯分析 2）在Gini系数上做了调整 3）在决策树集成阶段引入了代价敏感，选择代价少的前90%的决策树（经实验计
转载
2024-03-27 12:52:19
17阅读
一般来说，验证集越大，我们对模型质量的度量中的随机性（也称为“噪声”）就越小，它就越可靠。但是，通常我们只能通过划分出更多训练数据来获得一个大的验证集，而较小的训练数据集意味着更糟糕的模型！而交叉验证可是用来解决这个问题。什么是交叉验证？在交叉验证中，我们将数据集(一般为训练集，不包括验证集)等量划分成几个小的子集，然后对不同的子集运行建模过程，以获得每个子集模型的拟合效果的指标（可用MAE 平均
转载
2024-05-08 16:18:28
462阅读
目录集成学习决策树BoostingAdaboostGBDT梯度提升决策树是属于boosting集成学习的一种方法，通过构建多颗CART回归树，每一轮利用上一轮学习器的残差进行树的创建。该残差使用LossFunction的负梯度进行拟合。XGBoost对GBDT的提升LGB对XGB的提升Bagging随机森林简介随机森林构建python中使用随机森林为什么选决策树作为基分类器 偏差和方差总
转载
2024-05-27 23:08:00
65阅读
一、集成学习在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。集成方法是将几种机器学习技术组合成一个
转载
2024-08-16 16:44:10
75阅读
