# 如果步长不为1, 用1*1的卷积实现下采样
if stride != 1:
self.downsample = torch.nn.Sequential(
# 下采样
torch.nn.Conv2d(in_channels=inplanes, out_channels=planes, kernel_size=(1
1.多头注意力多头注意力，我们可以看到源码中是进行了切割，从return的shape可以看出来。2.transformer编码部分可以看到它的输入就是经过emb和位置编码求和之后的输入。下面是正式使用到的编码函数：上面的编码函数中，主要调用还是多头注意力这个函数：调用的语句：//注意，这里每次调用的时候第二个参数，也就是memory都是None，也就是query=momery。 可以看到
0 摘要基于CNN的目标检测算法，无论是一阶段算法(YOLO,SSD,RetinaNet)还是两阶段算法(Faster R-CNN,R-FCN,FPN)都是在ImageNet目标分类模型上微调得到的。前面很少有论文探讨针对目标检测任务进行特征提取骨干网络的设计。但是，图像分类和目标检测任务存在下述区别：(1)最新的目标检测算法(FPN,RetinaNet)都在图像分类的基础上使用其他手段实现了多尺
Transformer代码解读（机器翻译）数据处理（涉及文件prepro.py）数据加载（涉及文件data_load.py）模型构建（涉及文件modules.py和model.py） 数据处理（涉及文件prepro.py）代码中给出的数据是使用的是IWSLT2016德语和英语的数据集，如下图所示，（对于linux的用户可以执行shell脚本获取到数据集），对于windows的用户数据下载地址为（
(ResNet)Deep Residual Learning for Image Recognition摘要：更深的神经网络更难训练。我们提出了一种残差学习框架来减轻网络训练，这些网络比以前使用的网络更深。我们明确地把学习每一层变为学习关于每一层输入的残差函数，而不是学习未参考的函数。我们提供了全面的经验证据说明这些残差网络很容易优化，并可以显著增加深度来提高准确性。在ImageNet数据集上我们
转载
2024-08-18 23:37:49
109阅读
Inception-v4：Inception-ResNet and the Impact of Residual Connections on Learning 作者：Christian Szegedy，Sergey Ioffe，Vincent Vanhoucke有一条很清楚的经验证明：训练具有残差连接的网络能够显著的加速Inception网络的训练。 论文提出两种模型：Inception-v
转载
2024-08-17 18:35:44
258阅读
深度学习与图神经网络学习分享：CNN 经典网络之-ResNetresnet 又叫深度残差网络图像识别准确率很高，主要作者是国人哦深度网络的退化问题深度网络难以训练，梯度消失，梯度爆炸，老生常谈，不多说resnet 解决了这个问题，并且将网络深度扩展到了最多152层。怎么解决的呢？残差学习结构如图在普通的卷积过程中加入了一个x的恒等映射（identity mapping）专家把这称作 skip co
转载
2024-04-08 21:48:49
133阅读
a1、研究动机论文的 motivation 非常简单，就是认为CNN感受野有限，因此无法对长距离像素相关性进行建模。因此，想使用 Transformer 的思路来进行图像修复。2、主要方法论文整体框架如下图所示，还是类似UNet的结构，按着1/2，1/4, 1/8 下采样，在中间添加skip connection。如图中画红圈的部分展示，每个 Transformer block 由两个部分串联组成
转载
2024-05-05 19:33:45
165阅读
Table of Contents深度学习相关的目标检测方法也可以大致分为两派发展历程基于区域提名的R-CNN家族对比总括R-CNN（2014）SPP-NetFast R-CNN（2015）Faster-RCNNYolo：you only look onceSSD: Single Shot MultiBox DetectorYoloV2, Yolo9000FPN论文概述论文详解总结Mask R-C
一 VIT模型1 代码和模型基础以timm包为代码基础，VIT模型以vit_base_patch16_224作为模型基础2 模型结构2.1 输入的图像，第一步patch_embeding，这里一个patch的对应的像素大小是，也就是对输入图像作conv2d，对应的kernel_size=16，stride=16，以及升维为768，最终得到输出feature为，然后转化为，这里196个patchs其
1.效果演示2.数据集的采集健康叶片中度虫害重度虫害3.分类网络的构建（1）vgg模型AlexNet问世之后，很多学者通过改进AlexNet的网络结构来提高自己的准确率，主要有两个方向：小卷积核和多尺度。而VGG的作者们则选择了另外一个方向，即加深网络深度。 故而vgg模型是加深了网络深度的AlexNet模型那么什么是AlexNet模型 网络总共的层数为8层，5层卷积，3层全连接层。（2）resn
转载
2024-05-31 23:47:09
62阅读
五、VGG、AlexNet、ResNet网络（超详细哦）1、 VGG 网络1.1、 VGG网络结构1.2、理解VGG16（19）卷积网络2、AlexNet网络2.1、AlexNet网络结构2.2、理解AlexNet网络2.3、Alexnet网络中各层的作用3、ResNet网络！！！写博客不容易，请君给个赞在离开！！！ 1、 VGG 网络1.1、 VGG网络结构下面是VGG网络的结构（VGG16和
转载
2024-03-11 14:45:52
189阅读
最近博主一直在准备找暑期实习，所以也是隔了很久没跟新博客。题外话，现在的计算机视觉岗竞争是真的激烈，最后才找到美团，网易，海康，Momenta的offer，打算入坑的朋友门需谨慎。最近也在Momenta实习，等实习完后会继续更新博客和继续完善github。上一篇博文写到anchor的制作与处理了。这篇博文就主要讲一下rpn网络的搭建部分。首先是整个网络的特征提取部分，博主用
目录00 前言01 DenseNet是什么？参考00 前言论文：《Densely Connected Convolutional Networks》论文地址：Densely Connected Convolutional Networks | IEEE Conference Publication | IEEE Xplore01 DenseNet是什么？ ResNet
极⼤地改变了如何参数化深
文章目录一、 ResNet1.0 摘要，论文导读1.1 导论1.1.1 为什么提出残差结构？1.1.2 实验验证1.2 相关工作1.3 实验部分1.3.1 不同配置的ResNet结构1.3.2 残差结构效果对比1.3.3 残差结构中，输入输出维度不一致如何处理1.3.4 深层ResNet引入瓶颈结构Bottleneck1.4 代码实现1.5 结论二、Attention is All You Ne
深度学习——分类之ResNeXt论文：Aggregated Residual Transformations for Deep Neural Networks
作者：Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, Kaiming HeImageNet Top5错误率：3.03%中心思想：Inception那边把ResNet拿来搞了Ince
转载
2024-05-19 09:55:08
46阅读
截至这篇文章发表，谷歌提出的关于Inception块组成的GoogleNet经历了如下五个版本：具体过程详见上述参考文档②。 Note:其中v1v2的过程中滤波器组扩展指的是Inception块内部结构中网络变得更宽而不是更深，从而解决表征性瓶颈问题。分解卷积指的是比如说卷积分解成和卷积2个过程，作者指出这样会节约资源消耗。 Inception-v4, Inception-ResNet and t
转载
2024-04-22 10:10:07
91阅读
、作者丨杜伟、陈萍导读无残差连接或归一化层，也能成功训练深度transformer。尽管取得了很多显著的成就，但训练深度神经网络（DNN）的实践进展在很大程度上独立于理论依据。大多数成功的现代 DNN 依赖残差连接和归一化层的特定排列，但如何在新架构中使用这些组件的一般原则仍然未知，并且它们在现有架构中的作用也依然未能完全搞清楚。残差架构是最流行和成功的，最初是在卷积神经网络（CNN）的背景下开发
转载
2024-04-19 15:48:23
29阅读
一 残差网络的出现 残差网络(ResNet)网络出现于2015年，在2015年ImageNet的分类任务上取得了第一名的好成绩，它的出现相对于较早的ALexNet，VGGNet，GoogleNet等特征提取网络来说具有着历史性的突破。在ResNet网络之前，为了提高卷积网络的特征提取能力，研究者纷纷通过不断增加网络的深度，然而，随着网络深度的不断加深，人们开始发现网络的深
转载
2024-04-15 14:57:08
190阅读
Transformer模型由《Attention is all your need》论文中提出，在seq2seq中应用，该模型在Machine Translation任务中表现很好。动机常见的seq2seq问题，比如摘要提取，机器翻译等大部分采用的都是encoder-decoder模型。而实现encoder-decoder模型主要有RNN和CNN两种实现；CNNcnn 通过进行卷积，来实现对输入数
转载
2024-04-30 04:12:41
75阅读
