目录0x00 KNN （k近邻算法）0x01 实现knn算法：0x02 KNN 算法的封装0x03 使用scikit-learn中kNN0x04 重新整理我们之前封装的kNN分类器0x05 判断机器学习算法的性能#test_train_split 思路## 封装成包##使用 sklearn 中的 train_test_split0x06 分类准确度#scikit-learn中的accuracy_s
转载
2024-09-03 13:11:41
59阅读
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图
转载
2024-04-15 20:07:59
152阅读
# Python KNN正则化实现
## 简介
在机器学习领域，K最近邻（K-Nearest Neighbors，简称KNN）算法是一种有监督学习算法，常用于分类和回归问题。KNN算法的基本思想是在特征空间中找到与目标样本最接近的K个邻居，并根据这K个邻居的类别进行预测。为了提高KNN算法的泛化能力，我们可以使用正则化技术对数据进行预处理。
本文将详细介绍如何使用Python实现KNN算法的正
原创
2023-08-28 03:34:19
293阅读
和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。一、L1&L2正则化想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。而DNN的L2正则化通常的做法是只针对与线性系数矩阵,而不针对偏倚系数。利用我们之前的机器学习的知识，我们很容易可以写出DNN的L2正则化的损失
过拟合是指在模型参数拟合过程中，由于训练数据包含抽样误差，复杂模型在训练时也将抽样误差进行了很好的拟合。具体表现就是在训练集上效果好，而测试集效果差，模型泛化能力弱。解决过拟合的方法：1.从数据入手 解决过拟合最有效的方法，就是尽力补足数据，让模型看见更加全面的样本，不断修正自己。数据增强：通过一定规则扩充数据。可以通过图像平移、翻转、缩放、切割等手段将数据库成倍扩充。当然，随着GAN的发展，很多
和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，之前在【Keras】MLP多层感知机中提到了过拟合、欠拟合等处理方法的问题，正则化是常用的手段之一，这里我们就对DNN的正则化方法做一个总结。1. DNN的L1&L2正则化想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。而DNN的L2正则化通常的做法是只
转载
2024-07-05 13:00:32
117阅读
K Nearest Neighbor算法又叫KNN算法，是机器学习里面一个经典的算法。其中的K表示最接近自己的K个数据样本就，一般K取奇数，这是为了使投票的时候不会出现平票的情况。算法直观理解：有一个样本空间里的样本分成很几个类型，然后，给定一个待分类的数据，通过计算接近自己最近的K个样本来判断这个待分类数据属于哪个分类。简单理解：由那离自己
使用机器学习方法解决实际问题时，我们通常要用L1或L2范数做正则化(regularization) ，从而限制权值大小，减少过拟合风险。特别是在使用梯度下降来做目标函数优化时，很常见的说法是, L1正则化产生稀疏的权值, L2正则化产生平滑的权值。为什么会这样？这里面的本质原因是什么呢？下面我们从两个角度来解释这个问题。L1正则化表达式L2正则化表达式一、数学角度这个角度从权值的更新公式来看权值的
转载
2024-10-21 10:58:25
37阅读
算法体系：有监督学习：对数据的若干特征与若干标签（类型）之间的关联性进行建模的过程---分类任务：标签是离散值；回归任务：标签是连续值；无监督学习：对不带任何标签的数据特征进行建模---聚类算法：将数据分成不同组别；降维算法：用更简洁的方式表现数据；半监督学习：在数据不完整时使用；强化学习：系统靠自身的状态和动作进行学习，从而改进行动方案以适应环境；KNN：一、KNN算法原理本质是通过距离判断两个
转载
2024-04-05 09:18:36
106阅读
实现KNN算法基本要求：编程实现kNN算法；给出在不同k值（1，3，5）情况下，kNN算法对⼿写数字的识别精度KNN算法是机器学习算法中最基础、最简单的算法之一。它既能用于分类，也能用于回归。KNN通过测量不同特征值之间的距离来进行分类。KNN算法的思想非常简单：对于任意n维输入向量，分别对应于特征空间中的一个点，输出为该特征向量所对应的类别标签或预测值。KNN算法是一种非常特别的机器学习算法，因
转载
2024-05-13 15:23:25
33阅读
KNN(最近邻分类） 它是数据挖掘算法中 可以说是最简单的一种算法了，所谓近邻，乃是以K个最近的邻居代表某个样本。
KNN算法的核心思想是，样本在特征空间中的K个邻居大多属于一个类别，则该样本也属于该类别，并具有该类别的样本特性。KNN算法在分类决策中只依据样本的一个或多个邻近值来决定待测样本的类别。
由于KNN算法的分类决策只和极少量的样本有关，它不同于靠区间域分类。所以在处理 区间域交叉重叠较
原理 K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个
转载
2024-05-13 08:45:21
54阅读
的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）⼀般来说，我们应避免使用朴素线性回归，而应对模型
原创
2024-07-01 15:51:48
49阅读
文章目录一、KNN 简介二、KNN 核心思想实例分析：K 值的影响三、KNN 的关键1. 距离计算1. 闵可夫斯基距离2. 曼哈顿距离3. 欧氏距离4. 切比雪夫距离5. 余弦距离总结2. K值选择四、KNN 的改进：KDTree五、KNN 回归算法六、用 sklearn 实现 KNN函数原型可选参数方法参考链接 一、KNN 简介KNN 算法，或者称 k-最近邻算法，是 有监督学习 中的 分类算
转载
2024-08-11 15:54:49
173阅读
KNN回归模型的认识与使用写在前面：emm，距离上次更新文章已经过去很长一段时间了，中间呢经历了一些曲折。人生嘛，总是被各种惊喜和意外肆意裹挟，等闲视之就好！“泰山崩于前而色不变”，就会有所成长。好了，闲话不多说，上干货！初识KNN模型KNN模型，是一种紧邻算法，也叫K紧邻(K-Nearest-Neighbor)，在数据挖掘算法中是最简单并且基础的一种算法模型，在实际的运用中，不仅有分类方面的应用
转载
2024-04-23 11:22:35
110阅读
一.KNN简介 1.KNN算法也称为K邻近算法，是数据挖掘分类技术之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 2.KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 K
转载
2023-06-27 10:36:12
135阅读
首先knn算法即（K- Nearest Neighbor），即K最邻近算法，是数据挖掘分类技术中最简单的方法之一了。knn算法的核心简单来说就是通过临近的原则，根据最近邻原则来进行一个分类。我们在在这里进行画图表示，我们可以看到在图一中k=3,在二维平面中距离绿色方块点为3以内的个体中三角为2个原为1个，因此我们可以将该点即方块视为三角。 但是如果k的取值发生改变，比如k=5。那么我们可
KNN（K-Nearest Neighbor）相关：对于knn来说，告诉我你的邻居是哪个类别，我就知道你是哪个类别。KNN中k值就是选取邻近样本的个数，所需要判断的样本类别为其中最多的样本类别，即少数服从多数。knn算法需要一个距离函数来判断两个样本之间的距离，常用的：欧氏距离、余弦距离、汉明距离、曼哈顿距离等，一般选欧氏距离作为距离度量，但是这是只适用于连续变量。在文本分类这种非连续变量情况下，
转载
2024-04-09 06:45:16
212阅读
使用Barracuda：Unity中的高效机器学习模型部署库是一个由Unity Technologies开发的开源库，它允许开发者在Unity引擎中无缝地运行和整合深度学习模型。这个项目旨在简化游戏和其他实时应用中机器学习模型的集成过程，提供高性能且易于使用的API。技术分析1. 灵活的模型导入 Barracuda支持ONNX（开放神经网络交换）格式，这是一种广泛接受的标准，可以将模型导出自多个主
《机器学习实战》数据资料以及总代码可以去GitHub中下载：GitHub代码地址：https://github.com/yangshangqi/Machine-Learning-in-Action ————————————————————————————————————————————————————— 文章目录1、k-近邻算法概述1.1准备：使用python导入数据1.2 实施KNN分类算法1.
