CNN 的两个弊端 自从Alex Krizhevsky 等论文 ImageNet Classification with Deep Convolutional Networks 在 NIPS2012 发表开始，CNN 已经成为很多领域十分重要的工具，深度学习已很普遍. 基于 CNN 的方法已经在计算机视觉的诸多任务中取得了卓越的成绩. 但，CNN 是完美的吗？是能选择的最佳方案吗？当然不
转载
2024-05-05 17:40:16
263阅读
CNNs可以自动从(通常是大规模)数据中学习特征，并把结果向同类型未知数据泛化。
选用卷积的原因:
局部感知:
简单来说，卷积核的大小一般小于输入图像的大小（如果等于则是全连接），因此卷积提取出的特征会更多地关注局部 ——
这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，
然后在更高层将局部
转载
2024-03-27 21:09:43
116阅读
！！！入门级选手的博客，请带着做英语短文改错的眼光来看 一、卷积神经网络CNN二、支持向量机SVM三、Adaboost（通过迭代弱分类器而产生最终的强分类器的算法)四、算法优缺点及其发展趋势（1）CNN最大优点是权值共享，减少了计算时间，CNN处理图像可以把原图直接输入网络，特征提取也简单，因为会简化处理，加快处理速度。 缺点：实现相对复杂，网络训练时间长而且由于其泛化性，要对处理的样
转载
2023-10-13 17:27:32
148阅读
一、概述 CNN主要发展过程可由下图所示。（下图来自刘昕博士）《CNN的近期进展与实用技巧》。 本文的目的不止于此，本文将深入理解CNN的四大类应用：图像分类模型，目标检测模型，语义分割模型，语义slam模型：图像分类模型叙述步骤如下：CNN之前模型->leNet->AlexNet->VGG16系列->MSRANet->GoogLeNet->Inception系
转载
2024-03-25 17:37:14
42阅读
前言图卷积网络Graph Convolutional Network，简称GCN，最近两年大热，取得不少进展。最近，清华大学孙茂松教授组在 arXiv 发布了论文Graph Neural Networks: A Review of Methods and Applications，作者对现有的 GNN 模型做了详尽且全面的综述。GCN就是GNN中的一种重要的分支。但是对于GCN的萌新，看着这篇综述
LeNet-5 CNN分类网络开端，用于手写字符识别识别率相当高。 创建卷积框，设置大小、步长、数量等，对图像进行卷积操作，提取特征的操作，池化降维，全连接分类输出。之后的分类网络都是基于此框架进行的优化。AlexNet 作为2012年ImageNet分类冠军，把LeNet发扬光大，运用了Relu，Dropout，LRN等trick，并且使用GPU加速。 使用Relu 对梯度衰减进行加速，并且一定
转载
2024-03-23 10:35:37
31阅读
1、介绍下卷积操作的作用卷积网络中的卷积核参数是通过网络训练出来的通过卷积核的组合以及随着网络后续操作的进行，卷积操作可获取图像区域不同类型特征；基本而一般的模式会逐渐被抽象为具有高层语义的“概念”表示，也就是自动学习到图像的高层特征。2、CNN结构特点局部连接，权值共享，池化操作，多层次结构。1、局部连接使网络可以提取数据的局部特征2、权值共享大大降低了网络的训练难度，一个Filter只提取一个
转载
2024-03-20 10:48:07
113阅读
一、什么是胶囊网络1.1普通CNN的缺点：CNN在提取特征时只在乎有没有，不在乎他具体的状态是如何的。上面第一张图片是一个人像，CNN可以正常识别出来；第二张是一个五官错位的图片，CNN仍然将其识别成一张人脸。这是因为CNN是可以识别出人像所具有的具体特征，只要包含这些特征就将其判定为一张人脸。 1.2Hinton自己说过：最大池化层表现的如此优异是一个巨大的错误，是一场灾难。从图中不难
转载
2024-04-18 22:16:06
291阅读
常见机器学习算法的优缺点有监督学习线性回归优点：实现简单，计算简单。缺点：不能拟合非线性数据。KNN优点：理论成熟，思想简单，容易实现，既可以用来做分类也可以用来做回归；可用于非线性分类；模型训练时间快，训练时间复杂度为 O(n)，KNN 算法时惰性的；对数据没有假设，准确度高，对异常值不敏感；KNN 是一种在线技术，新数据可以直接加入数据集而不必进行重新训练；缺点：对内存要求较高，因为该算法存储
转载
2024-04-18 14:04:36
216阅读
图神经网络（GNN）作为图表示学习的模型，建立在MLP架构之上，具有额外的消息传递，以允许特征在节点之间流动。作者通过引入一个被称为P-MLP的中间模型，将GNN性能增益的主要来源定位为其内在的泛化能力，P-MLP在训练中与标准MLP相同，但在测试中采用了GNN的体系结构。有趣的是，观察到P-MLP的表现一直与GNN持平（甚至超过），同时在训练中效率更高。这一发现为理解GNN的学习行为提供了一个新
转载
2024-05-17 07:49:27
64阅读
此篇博客主要是讲一些目前较好的网络发展，提出问题，解决了什么问题,有什么优缺点。1、Alexnet网络，本网络是2012年的分类冠军，掀起来深度学习的热潮，Alexnet参数量巨大，由于受限于硬件计算，作者采用了group 卷积，将特征图分别放入不同gpu进行运算，最后融合，但是此网络存在一个问题，不同特征图分别计算然后融合，如此卷积核只与某一部分的特征图进行卷积，这样卷积核获得的特征
转载
2024-04-29 12:52:22
85阅读
在深度学习领域中，已经经过验证的成熟算法，目前主要有深度卷积网络（DNN）和递归网络（RNN），在图像识别，视频识别，语音识别领域取得了巨大的成功，正是由于这些成功，能促成了当前深度学习的大热。与此相对应的，在深度学习研究领域，最热门的是AutoEncoder、RBM、DBN等产生式网络架构，但是这些研究领域，虽然论文比较多，但是重量级应用还没有出现，是否能取得成功还具有不确定性。但是有一些
转载
2024-04-26 15:26:02
165阅读
1. 简介近年来，卷积神经网络（CNN）在深度学习领域中发挥了重要作用。事实证明，CNN的变体在跨不同领域的分类任务中非常成功。但是，CNN的主要缺点有两个：无法考虑要素之间的重要空间层次结构以及缺乏旋转不变性[1]。只要在测试数据中存在某个对象的某些关键特征，CNN便会将测试数据归类为该对象，而无需考虑特征之间的相对空间方向。这会导致误报。 CNN缺乏旋转不变性，将导致网络错误地为对
转载
2024-04-02 21:29:55
366阅读
深度神经网络（Deep Neural Networks，以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN模型与前向传播算法做一个总结。1.从感知机到神经网络 在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和输出的模型，如下图： 输入和输出之间学习到了一个线性关系，得到中间输出结果： 接着是一个神经元激活函数： 从而得
1.why look at case study这周会讲一些典型的cnn模型,通过学习这些,我们能够对于cnn加深自己的理解,并且在实际的应用中有可能应用到这些,或从中获取灵感2.Classic networksLeNet-5模型是Yann LeCun教授于1998年提出来的，它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据中，它的准确率达到大约99.2%。 它的结构如下
转载
2024-09-18 14:47:37
81阅读
本篇博文将把我所学习的循环神经网络(RNN)和长短时记忆神经网络(LSTM)做一个详细的总结分析。RNN为什么会有循环神经网络传统的神经网络（包括CNN）,输入输出都是互相独立的 。但是在一些场景中，后续的输出和之前的内容是相关的。比如一段句子的输出“我在CSDN上发表了一篇文_”，这里后续的输出和前面的文字有着很大的联系。传统的神经网络对这样的任务无法很好的进行预测。循环神经网络结构简单来看，就
写在前面**这两周由于实习公司事情较多，来不及写博客。【计算机视觉——RCNN目标检测系列】的第三篇文章【非极大抑制和IoU】的文字材料已经准备好了，但是相关代码放在某服务器上，但是服务器配置出了点问题，需要时间解决。因此先暂时放弃第三篇文章的上传，最近几天把服务器问题解决了立马上线第三篇博客以保证文章的连贯性。在上一篇博客：【计算机视觉——RCNN目标检测系列】三、IoU与非极大抑制 主要讲解了
。 1摘要卷积网络已被证明在提取结构化数据中的高级特征方面具有不错的效果。而时间卷积网络(TCN)是一种利用因果卷积和空洞卷积的神经网络模型，它可以适应时序数据的时序性并可以提供视野域用于时序建模。在这篇文章中，作者提出了一种新颖的思路，将TCN应用于时间序列的异常检测中。其中，文中通过正常序列进行训练TCN，并用它来预测若干时间步长的趋势。然后，采用多元高斯分布来拟合预测误差，计算每个时间点的数
转载
2024-04-26 15:27:37
426阅读
RNN：有梯度消失，没有办法长时间记忆。神经网络是用来特征提取CNN因为后边加了一层全连接，才可以去做分类。RNN和CNNRNN：处理序列化数据（一句话，一段语音，一段视频）连续型的，具有记忆性，但是没有办法长期记忆，反向可能会导致梯度消失（梯度消失的原因是反向推到参数可能极小接近0）CNN：第一张图片和第二张图片没有关系，一张张图片处理，所以不适合用来处理序列化数据（文本之类的） &n
转载
2024-07-09 22:17:31
179阅读
论文下载地址 :https://arxiv.org/pdf/1411.4038.pdf原作代码 :https://github.com/shelhamer/fcn.berkeleyvision.org备注: 此文的FCN特指<<Fully Convolutional Networks for Semantic Segmentation>>论文中提出的结构，而非
转载
2024-05-29 11:31:39
218阅读
