机器学习基础篇（六）——KNN一、简介K-Nearest Neighbors（KNN） 是机器学习中的一个基础分类算法。1.工作原理首先我们需要一个训练样本集，并且样本集中每个数据都存在标签。存在标签就代表我们知道样本集中每一个数据与所属分类对应的关系。输入没有标签的数据后，将新数据中的每个特征与样本集中数据对应的特征进行比较。提取出样本集中特征最相似数据（最近邻）的分类标签，作为该数据的标签。一
转载
2024-03-26 10:24:07
61阅读
Introduction特征融合的方法很多.如果数学化地表示，大体可以分为以下几种：: 、表示两个特征图，表示元素级相加. 代表如ResNet、FPN .表示张量 拼接操作。 代表如GoogleNet、U-Net. 是注意力函数。这里表示自注意力机制。代表如SENet、 CBAM、Non-local. 同样是将注意力机制作用在一个特征图上，而权重信息来源于对方。代表如GAU. 软注意力机制的一种，
转载
2024-05-15 14:19:46
155阅读
KNN与CNN相关 KNN（K-Nearest Neighbor）最邻近分类算法就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性 KNN最邻近分类算法的实现原
转载
2024-01-15 20:37:44
99阅读
一、CNN的结构输入层---->[卷积层*N---->池化层]*M---->全连接层二、卷积、池化和训练卷积运算过程： 以为5* 5的image和 3* 3的filter，stride=1，Relu为激活函数，为例。 feature_map中第一个元素的计算公式： feature_map[0][0]=Relu(1 * 1+1 * 0+1 * 1+0 * 0+1* 1+1 * 0+
转载
2024-01-11 19:42:50
82阅读
刚刚步入研二，研一的时候由于各种原因单单接触到的只是人工的特征，以及基础的机器学习类的知识。直到这学期才开始直到了解CNN及各种深度学习方面的知识。 博主话不多说，这篇博客是我的第一篇博客，希望能给自己开个好头吧。 由于在深度学习方面我只是单单的接触到了CNN，所以我想就我看到的资料来给自己总结一下CNN的过程及内部细节。 注：本文大部分都是采取摘
转载
2024-09-14 10:01:26
71阅读
KNN学习笔记算法原理KNN三要素KNN预测规则1.分类2.回归KNN算法实现方式python代码 算法原理K近邻(K-nearst neighbors, KNN) 所谓k近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。 KNN算法既可以应用于分类应用中,也可以应用在回归应用中。KNN在做回归和分类的主要区别在于最后做预测的时候的决策方式不同。 KNN在分类预测时
转载
2024-03-25 21:26:10
41阅读
1. f(x,w)线性分类器与knn区别knn直接用图像的像素距离做分类，线性分类器是用特征的线性组合来分类knn直接把所有图像像素存下来作为训练结果来与测试图像比对，线性分类器会得到W,b，也就是训练得到的权重和偏差参数，f(x,w)=Wx+b这种得到的特征的线性组合就是模板，可以说是一种全局特征，然后用训练得到的模板和测试图像比对b这个偏差是当数据集不平衡时候，为了训练效
转载
2024-05-30 20:14:30
95阅读
分享一些公式计算张量（图像）的尺寸，以及卷积神经网络（CNN）中层参数的计算。以AlexNet网络为例，以下是该网络的参数结构图。AlexNet网络的层结构如下：1.Input: 图像的尺寸是2272273.2.Conv-1: 第1层卷积层的核大小11*11，96个核。步长(stride)为4，边缘填充（padding）为0。3.MaxPool-1: 池化层-1对Conv-1进行池化，尺寸为3*3
转载
2023-10-08 07:43:36
295阅读
K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类，也可以做回归，这点和决策树算法相同。 KNN做回归和分类的主要区别在于最后做预测时候的决策方式不同。KNN做分类预测时，一般是选择多数表决法
转载
2024-04-19 14:17:57
27阅读
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军）1.Visualize L
转载
2024-04-07 08:42:23
81阅读
在
深度学习中，有许多不同的深度网络结构，包括卷积
神经网络(CNN或convnet)、长短期记忆网络(LSTM)和生成对抗网络(GAN)等。
在计算机视觉领域，对卷积神经网络(简称为CNN)的研究和应用都取得了显著的成果N网络最初的诞生收到了动物视觉神经机制的启发，目前已成功用于机器视觉等领域中。
技术博客Towards Data Science最近发布了
转载
2024-08-14 09:16:19
14阅读
在上一篇文章中，我们介绍了KNN算法的原理，并详细阐述了使用Opencv的KNN算法模块对手写数字图像进行识别，发现识别的准确率还是比较高的，达到90%以上，这是因为手写数字图像的特征比较简单的缘故。本文我们将使用KNN来对更加复杂的CIFAR-10数据集进行识别分类，并尝试提高分类的准确率。1. CIFAR-10数据集介绍CIFAR-10是一个专门用于测试图像分类的公开数据集，其包含的彩色图像分
转载
2024-04-22 16:02:05
101阅读
计算机视觉识别图像都是转换成三维数组。 K-近邻算法 KNNK近邻会把背景因素考虑进来 Numpy.argminhttps://zhidao.baidu.com/question/987582984789125539.htmlNumpy.zerosNumpy.argsort 线性分类 f()=wx+bX是图像
转载
2024-04-08 10:30:31
62阅读
声明：1. 我和每一个应该看这篇博文的人一样，都是初学者，都是小菜鸟，我发布博文只是希望加深学习印象并与大家讨论。2. 我不确定的地方用了“应该”二字首先，通俗说一下，CNN的存在是为了解决两个主要问题：1. 权值太多。这个随便一篇博文都能解释2. 语义理解。全连接网络结构处理每一个像素时，其相邻像素与距离很远的像素无差别对待，并没有考虑图像内容的空间结构。换句话说，打乱图像像素的输入顺序，结果不
转载
2024-08-08 10:38:20
105阅读
一、概述 AlexNet是由2012年ImageNet竞赛参赛者Hinton和他的学生Alex Krizhevsky设计的。AlexNet在当年赢得了ImageNet图像分类竞赛的冠军，使得CNN成为图像分类问题的核心算法模型，同时引发了神经网络的应用热潮。
1. AlexNet的创新
作为具有历史意义的网络结构，AlexNet包
cnn调参技巧记录，好的参数不光可以加速模型收敛，而且可以有效的避免很多错误。当然在很多简单任务中可能完全随机的模型初始参数，简单的一些建议学习率以及动量都可以得到一个比较满意的结果，比如单一，简单的降质模型下的图像生成，类别简单少量的一些分类任务等，不好的初始化参数是可以应对简单任务的。但是对于复杂任务就很难了，因为初始化参数选择的不好，导致结果十分不可控。因为不好的初始化参数导致结果很不可靠，
转载
2024-04-25 13:03:25
55阅读
和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，之前在【Keras】MLP多层感知机中提到了过拟合、欠拟合等处理方法的问题，正则化是常用的手段之一，这里我们就对DNN的正则化方法做一个总结。1. DNN的L1&L2正则化想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。而DNN的L2正则化通常的做法是只
转载
2024-07-05 13:00:32
117阅读
k近邻近邻算法： 多数表决规则等价于经验风险最小化： 损失函数最小化：一训练数据为基础，通过此类分类规则计算得到 一块区域，有k个训练数据，1,2,3个类别。1>2>3 当此区域判为1，损失函数等于2,3个数和 当此区域判为2，损失函数等于1,3个数和 当此区域判为3，损失函数为1,2个数和 选取损失函数最小的，即个数最多的类别。作为此区域类别。所以此区域判别为1. Kd树： 第一步：
转载
2024-04-30 16:56:26
51阅读
本文主要实现CNN卷积神经网络实现MNIST手写数字识别中的前向传播，其中的参数（权重与偏置）由文章“CNN卷积神经网络实现MNIST手写数字识别（一）训练得到本文与“CNN卷积神经网络实现MNIST手写数字识别（二）的区别在于：在前向传播过程中，所用的卷积函数、池化函数、不同层之间的数据传递均由自己手写完成，未调用任何官方函数。通过对本代码的编写，本人对卷积神经网络有了较为深入的了解，同时也可以
转载
2024-02-19 14:33:38
26阅读
KNN应用1、KNN简介1.1 KNN算法优缺点2、KNN算法的思想3、最佳K值的选择4、相似度的度量方法4.1 距离定义4.2 欧式距离4.3 曼哈顿距离4.4 余弦相似度4.5 杰卡德相似系数5、K-近邻的分类决策规则6、KNN算法从零实现（基于Python）6.1 伪代码6.2 Python代码实现7、近邻样本的搜寻方法7.1 KD搜寻树7.1.1 KD树的构建7.1.2 KD树的搜寻8、
转载
2024-05-08 21:42:48
312阅读
