1 前言在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的
转载
2024-06-29 08:53:12
140阅读
论文名称：RepVGG: Making VGG-style ConvNets Great Again 论文下载地址：https://arxiv.org/abs/2101.03697 官方源码（Pytorch实现）：https://github.com/DingXiaoH/RepVGG 文章目录0 前言1 RepVGG Block详解2 结构重参数化2.1 融合Conv2d和BN2.2 Conv2d
1、Introduction提出问题：随着网络越来越深，梯度就会出现爆炸或者消失 解决方法： 1、在权重随机初始化的时候，不要特别大也不要特别小 2、在中间加入一些normalization,包括BN（batch normalization)可以使得校验每个层之间的输出和梯度的均值和方差相对来说比较深的网络是可以训练的，避免有一些层特别大，有一些层特别小，使用这些技术之后能够收敛，但是当网络变深的
转载
2024-05-13 09:47:47
931阅读
这是微软方面的最新研究成果， 在第六届ImageNet年度图像识别测试中，微软研究院的计算机图像识别系统在几个类别的测试中获得第一名。本文是解决超深度CNN网络训练问题，152层及尝试了1000层。随着CNN网络的发展，尤其的VGG网络的提出，大家发现网络的层数是一个关键因素，貌似越深的网络效果越好。但是随着网络层数的增加，问题也随之而来。首先一个问题是 vanishing/exploding g
转载
2024-04-29 19:21:08
51阅读
AlexNetAlexNet是在IMAGENET比赛中第一个获奖的CNN结构。VGGNetVGGNet和AlexNet实际上都是对最传统的CNN进行重复堆叠的实践，将效果较好的结构记录下来方便以后继续使用，常用的有vgga(11层)，vgg16和vgg19。结构如下： (示意图来自于cs231n的课件，有一点小问题，vgg16应该是3个conv层后接pool)ResNet论文原文 https:
转载
2024-03-17 15:10:39
47阅读
DenseNet实现代码DenseNetDenseNet模型的基本思路与ResNet一致，但它是前面所有层与后面层的密集连接（dense connection），它的名称也是由此而来。 如下图所示： 如上图所示，DenseNet每两个层之间都有直接的连接，因此该网络的直接连接个数为。 对于每一层，使用前面所有层的特征映射作为输入，并且其自身的特征映射作为所有后续层的输入。DenseNet的优点:
转载
2024-02-19 20:21:47
137阅读
前言 这段时间到了新公司，工作上开始研究DeepLearning以及TensorFlow，挺忙了，前段时间看了VGG和deep residual的paper，一直没有时间写，今天准备好好把这两篇相关的paper重读下。 VGGnet VGG解读 VGGnet是Oxford的Visual Geometry Group的team，在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能
深度学习——分类之ResNeXt论文：Aggregated Residual Transformations for Deep Neural Networks
作者：Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, Kaiming HeImageNet Top5错误率：3.03%中心思想：Inception那边把ResNet拿来搞了Ince
转载
2024-05-19 09:55:08
46阅读
Darknet is an open source neural network framework written in C and CUDA. It is fast, easy to install, and supports CPU and GPU computation.—— https://pjreddie.com/darknet/本文是对使用 darknet 进行目标检测的小结，包括：
AlexNet (2012) The network had a very similar architecture as LeNet by Yann LeCun et al but was deeper, with more filters per layer, and with stacked convolutional layers. It consisted
转载
2024-09-24 19:22:59
63阅读
如果您喜欢我的文章，欢迎关注我的专栏。
ResNet和DenseNet是计算机视觉领域的经典工作，作为CVPR 2016和2017的best paper，两者不仅有很强的创新性，而且大道至简，给了我们很好的启发。本文的目的是解读一下ResNet和DenseNet中那些影响深远的创新，让我们对网络架构有更深刻的思考。
ResNet（Deep Residual Learning
转载
2024-04-07 08:39:42
250阅读
CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。DenseNet模型，建立的是前面所有层与后面层的密集连接（dense connection），它的名
原创
2023-12-13 12:01:27
175阅读
卷积网络LeNet5LeNet5 诞生于1994年，是最早的深层卷积神经网络之一，并且推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet5。LeCun认为，可训练参数的卷积层是一种用少量参数在图像的多个位置上提取相似特征的有效方式，这和直接把每个像素作为多层神经网络的输入不同。像素不应该被使用在输入层，因为图像具有很强的空间相
转载
2024-09-26 12:29:22
170阅读
目录一. 创新点1. 先看看MobileNetV2 和 V1之间有啥不同2. 再看看MobileNetV2的block 与ResNet 的block：二. 正文三. MobileNet-V2网络结构参考资料MobileNetV2是对MobileNetV1的改进，同样是一个轻量化卷积神经网络。一. 创新点1. Inverted residuals，通常的residuals block是先经
VGGNet是由牛津大学的视觉几何组（Visual Geometry Group）和谷歌旗下DeepMind团队的研究员共同研发提出的，获得了ILSVRC 2014（ 2014年ImageNet图像分类竞赛） 的第二名，将 Top-5错误率降到7.3%， 在Top-5中取得了92.3%的正确率，同年的冠军是googlenet。 目前使用比较多的网络结构主要有ResNet（152-1000层），Go
转载
2024-05-01 14:23:12
94阅读
里程碑式创新：ResNet2015年何恺明推出的ResNet在ISLVRC和COCO上横扫所有选手，获得冠军。ResNet在网络结构上做了大创新，而不再是简单的堆积层数，ResNet在卷积神经网络的新思路，绝对是深度学习发展历程上里程碑式的事件。闪光点：层数非常深，已经超过百层引入残差单元来解决退化问题从前面可以看到，随着网络深度增加，网络的准确度应该同步增加，当然要注意过拟合问题。但是网络深度增
转载
2024-06-18 12:57:38
124阅读
1． VGG模型VGG又分为VGG16和VGG19， 分别在AlexNet的基础上将层数增加到16和19层， 它除了在识别方面很优秀之外， 对图像的目标检测也有很好的识别效果， 是目标检测领域的较早期模型。2． GoogLeNet模型GoogLeNet除了层数加深到22层以外， 主要的创新在于它的Inception， 这是一种网中网（Network In Network） 的结构， 即原来的节点也
转载
2024-04-04 11:40:32
367阅读
一 实例探索卷积神经网络的基本构建，比如卷积层、池化层以及全连接层这些组件。事实上，过去几年计算机视觉研究中的大量研究都集中在如何把这些基本构件组合起来，形成有效的卷积神经网络。最直观的方式之一就是去看一些案例，就像很多人通过看别人的代码来学习编程一样，通过研究别人构建有效组件的案例是个不错的办法。实际上在计算机视觉任务中表现良好的神经网络框架往往也适用于其它任务，也许你的任务也不例外。也就是说，
转载
2024-08-31 06:56:15
147阅读
一、ResNet 介绍ResNet(Residual Neural Network)由微软研究员的Kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015的比赛中获得了冠军。取得了3.75%的top-5错误率，同时参数量却比VGGNet低，效率非常突出。在ResNet之前，瑞士教授Schmidhuber提出了Highway Net
转载
2024-05-24 18:36:47
80阅读
1 一些经典CNN模型这些经典CNN的架构已经没有学习的必要，只要知道它们引入了什么好的训练方法即可。1.1 LeNet最开始Yann Lecun发明的CNN即是LeNet，用来做手写数字的识别，LeNet-5是2层卷积+2层全连接+1层高斯连接（现在已经不怎么用了）。每层卷积操作后面还跟着下采样，这里的下采样就是使用例如隔行采样的传统下采样方法。1.2 AlexNet2012年Hinton的学生
转载
2024-06-15 22:56:25
170阅读
