1. GoogleNet1.1. 介绍 2014竞赛第一进化顺序：Inception V1->Inception V2->Inception V3->Inception V4目的：提升性能
降参，降计算加宽，深度1.2. Inception V1网络：核心组件 Inception Architecture-稀疏连接结构
Split
本章介绍的是现代神经网络的结构和复现，包括深度卷积神经网络（AlexNet），VGG，NiN，GoogleNet，残差网络（ResNet），稠密连接网络（DenseNet）。文章部分文字和代码来自《动手学深度学习》 文章目录使用块的网络(VGG)VGG块定义实现VGG和AlexNet的区别VGG16模型设计实现利用VGG16进行CIFAR10分类数据集超参数，优化器，损失函数训练 使用块的网络(V
转载
2024-09-30 13:16:02
124阅读
AlexNet比LeNet更深更大，带来了更好的精度，那么是不是再深一些再大一些，我们就会更好？更深更大，可以通过更多的全连接层（太贵）、更多的卷积层以及将卷积层组成块来实现。 VGG思想：将小块先组成大块，最后再去组合。 VGG块：用大量的3x3（一般再大效果会不好）的卷积层堆起来加一个池化层做VGG块，然后用这些VGG块组成网络。 所谓的V
转载
2024-07-07 16:48:16
57阅读
AlexNetAlexNet是在IMAGENET比赛中第一个获奖的CNN结构。VGGNetVGGNet和AlexNet实际上都是对最传统的CNN进行重复堆叠的实践，将效果较好的结构记录下来方便以后继续使用，常用的有vgga(11层)，vgg16和vgg19。结构如下： (示意图来自于cs231n的课件，有一点小问题，vgg16应该是3个conv层后接pool)ResNet论文原文 https:
转载
2024-03-17 15:10:39
47阅读
1、Introduction提出问题：随着网络越来越深，梯度就会出现爆炸或者消失 解决方法： 1、在权重随机初始化的时候，不要特别大也不要特别小 2、在中间加入一些normalization,包括BN（batch normalization)可以使得校验每个层之间的输出和梯度的均值和方差相对来说比较深的网络是可以训练的，避免有一些层特别大，有一些层特别小，使用这些技术之后能够收敛，但是当网络变深的
转载
2024-05-13 09:47:47
931阅读
前言 这段时间到了新公司，工作上开始研究DeepLearning以及TensorFlow，挺忙了，前段时间看了VGG和deep residual的paper，一直没有时间写，今天准备好好把这两篇相关的paper重读下。 VGGnet VGG解读 VGGnet是Oxford的Visual Geometry Group的team，在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能
一、ResNet 介绍ResNet(Residual Neural Network)由微软研究员的Kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015的比赛中获得了冠军。取得了3.75%的top-5错误率，同时参数量却比VGGNet低，效率非常突出。在ResNet之前，瑞士教授Schmidhuber提出了Highway Net
转载
2024-05-24 18:36:47
80阅读
论文名称：RepVGG: Making VGG-style ConvNets Great Again 论文下载地址：https://arxiv.org/abs/2101.03697 官方源码（Pytorch实现）：https://github.com/DingXiaoH/RepVGG 文章目录0 前言1 RepVGG Block详解2 结构重参数化2.1 融合Conv2d和BN2.2 Conv2d
1． VGG模型VGG又分为VGG16和VGG19， 分别在AlexNet的基础上将层数增加到16和19层， 它除了在识别方面很优秀之外， 对图像的目标检测也有很好的识别效果， 是目标检测领域的较早期模型。2． GoogLeNet模型GoogLeNet除了层数加深到22层以外， 主要的创新在于它的Inception， 这是一种网中网（Network In Network） 的结构， 即原来的节点也
转载
2024-04-04 11:40:32
367阅读
DenseNet实现代码DenseNetDenseNet模型的基本思路与ResNet一致，但它是前面所有层与后面层的密集连接（dense connection），它的名称也是由此而来。 如下图所示： 如上图所示，DenseNet每两个层之间都有直接的连接，因此该网络的直接连接个数为。 对于每一层，使用前面所有层的特征映射作为输入，并且其自身的特征映射作为所有后续层的输入。DenseNet的优点:
转载
2024-02-19 20:21:47
137阅读
Dynamic Sparse R-CNN论文：https://arxiv.org/abs/2205.02101Sparse R-CNN是最近的一种强目标检测Baseline，通过对稀疏的、可学习的proposal boxes和proposal features进行集合预测。在这项工作中提出了2个动态设计来改进Sparse R-CNN。首先，Sparse R-CNN采用一对一标签分配方案，其中匈牙利
这是微软方面的最新研究成果， 在第六届ImageNet年度图像识别测试中，微软研究院的计算机图像识别系统在几个类别的测试中获得第一名。本文是解决超深度CNN网络训练问题，152层及尝试了1000层。随着CNN网络的发展，尤其的VGG网络的提出，大家发现网络的层数是一个关键因素，貌似越深的网络效果越好。但是随着网络层数的增加，问题也随之而来。首先一个问题是 vanishing/exploding g
转载
2024-04-29 19:21:08
51阅读
论文：https://arxiv.org/pdf/1608.06993.pdf 与残差网络的区别：残差网络是加上跳转链接，非线性映射关系：X(t)=H(X(t-1))+X(t-1)An advantage of ResNets is that the gradient can flow directly through the identity function from later l
GoogleNet最近上讨论课，看了Googlenet和Resnet两篇论文，知道大概的神经网络框架，都是在Alexnet（论文：ImageNet Classification with Deep Convolutional Neural Networks）的基础上来进行修改，层数的增加，使得过拟合的问题更加严重，所以Googlenet想到通过计算稀疏结构来一定量减少过拟合的问题，即图1。其中1*
如果您喜欢我的文章，欢迎关注我的专栏。
ResNet和DenseNet是计算机视觉领域的经典工作，作为CVPR 2016和2017的best paper，两者不仅有很强的创新性，而且大道至简，给了我们很好的启发。本文的目的是解读一下ResNet和DenseNet中那些影响深远的创新，让我们对网络架构有更深刻的思考。
ResNet（Deep Residual Learning
转载
2024-04-07 08:39:42
250阅读
本篇博文来介绍一个深度学习模型加速的算法：MobileNets，可以在基本不影响准确率的前提下大大减少计算时间和参数数量。论文：MobileNets Efficient Convolutional Neural Networks for Mobile Vision Applications 论文链接：https://arxiv.org/abs/1704.04861 MXNet框架代码：https
yolo几代的区别YOLO V1head检测头s=7backbone是googleNetYOLO V2开始预测偏移量检测头s=13 bounding box设置为五个，为了速度和准确度同时满足Backbone卷积尺寸变小，vgg net论文得到一个结论， 7* 7卷积可以用更小的卷积代替，且 33卷积更加节约参数，使模型更小 网络可以做得更深，更好地提取到特征。为什么？因为每做一次卷积，后面都会接
转载
2024-05-15 19:24:28
574阅读
深度学习——分类之ResNeXt论文：Aggregated Residual Transformations for Deep Neural Networks
作者：Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, Kaiming HeImageNet Top5错误率：3.03%中心思想：Inception那边把ResNet拿来搞了Ince
转载
2024-05-19 09:55:08
46阅读
RESNET 随着网络深度增加，网络的准确度应该同步增加，当然要注意过拟合问题。但是网络深度增加的一个问题在于这些增加的层是参数更新的信号，因为梯度是从后向前传播的，增加网络深度后，比较靠前的层梯度会很小。这意味着这些层基本上学习停滞了，这就是梯度消失问题。深度网络的第二个问题在于训练，当网络更深时意味着参数空间更大，优化问题变得更难，因此简单地去增加网络深度反而
转载
2024-03-20 11:43:51
166阅读
一.简介residual network(残差网络)的缩写，论文《Infrared and Visible Image Fusion with ResNet and zero-phase component analysis》。 论文中，作者探讨了传统的图像融合的方法，基于MSD（multi-scale decompsition）方法的，基于SR（spatial representation）方法
转载
2024-04-30 19:10:26
325阅读
