介绍在ResNet之后（2016-2017年）出现的几个经典CNN网络WideResNet，FractalNet，DenseNet，ResNeXt，DPN，SENet
前言在论文笔记：CNN经典结构1中主要讲了2012-2015年的一些经典CNN结构。本文主要讲解2016-2017年的一些经典CNN结构。
CIFAR和SVHN上，DenseNet-BC优
自定义ResNet神经网络-Tensorflow【cifar100分类数据集】import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 放在 import tensorflow as tf 之前才有效
import tensorflow as tf
from tensorflow import keras
from tensorflow.ker
转载
2024-07-15 21:02:42
38阅读
1.ResNet论文地址：ResNet ResNet在PyTorch的官方代码中共有5种不同深度的结构分别为18、34、50、101、152，和论文的完全一致。如下图所示，下图是论文的截图。 根据Block类型，可以将这五种ResNet分为两类:一种是基于BasicBlock；另一种基于Bottleneck。1.1 Block前面的层 如下图所示， 上图红色框的层的具体结构如下图所示，这里只
转载
2024-04-28 16:02:21
0阅读
Python、PyTorch、YOLOv5、注意力机制
原创
2023-05-06 10:02:38
2516阅读
沐神：如果你在神经网络中要了解一个网络的话，一定就是要了解ResNet网络了。在这里首先要思考一个问题： 显然不一定，就如左图所示，我们的模型从F1这么小个训练到了F6这么大个，可能的最优解却变得更差了，这就是所谓的一条路走到黑。这里的计算涉及到泛函的知识，之前没接触过，感觉挺大一块，慢慢用到在学，现在先不学了。这里要区分一下过拟合和这个一条路走到黑（训练跑偏）的
转载
2024-05-19 11:03:53
47阅读
目录1.基本结构：BasicBlock和BottleNeck2.构建ResNet网络3.完整代码1.基本结构：BasicBlock和BottleNeck ResNet中最基本也是最重要的两个结构、：BasicBlock（左）和BottleNeck（右），这两个结构分别用在轻量级的（ResNet18，Res
转载
2024-04-22 11:29:14
138阅读
为了解决两个问题： 1）退化问题（degradation problem） 2）梯度消失/爆炸什么是resnet？将网络学习目标改为学习残差函数，也就是目标值与预测值的差，通过一个跳跃连接可以解决梯度消失问题，这样就可以搭建更深的网络结构，得到更好的训练结果卷积输入和输出尺寸关系：模型退化神经网络层数越深，网络就能进行更加复杂的特征提取，理论上可以取得更好的结果，但是实验发现网络深度增加时，训练误
转载
2024-05-15 14:58:50
57阅读
论文标题：1.对ResNet的改进思想作者受到了如下几篇论文的启发：（1）Going deeper with convolutions.（2）Batch normalization: Accelerating deep network training by reducing internal covariate shift.（3）Rethinking the inception architec
转载
2024-05-27 23:12:02
64阅读
知识蒸馏是将一个已经训练好的网络迁移到另外一个新网络，常采用teacher-student学习策略，已经被广泛应用在模型压缩和迁移学习中。这里要介绍的MEAL V2是通过知识蒸馏提升ResNet50在ImageNet上的分类准确度，MEAL V2不需要修改网络结构，也不需要其他特殊的训练策略和数据增强就可以使原始ResNet50的Top-1准确度提升至80%+，这是一个非常nice的
转载
2024-04-28 21:51:25
128阅读
注意力机制主要运用在自然语言理解当中，但是随着深度学习的发展，注意力机制也引进了计算机视觉当中，本文是将计算机视觉中的注意力机制进行了进一步的总结与提炼，将之前的注意力机制提炼为了注意力模块，并将多个这样的注意力模块有机组合在一起，从而网络深度越深，所获得的效果越好，这一个网络架构就叫做残差注意力网络，并在Imagenet上取得了不错的提升。本文主要创新点：使用了stacked network s
转载
2024-04-21 19:02:44
182阅读
论文：Feature Pyramid Networks for Object Detection 论文链接：https://arxiv.org/abs/1612.03144前言目标的多尺度一直是目标检测算法极为棘手的问题。像Fast R-CNN，YOLO这些只是利用深层网络进行检测的算法，是很难把小目标物体检测好。因为小目标物体本身的像素就比较少，随着降采样的累积，它的特征更容易被丢失。为了解决多
快速运行攻略（MindX SDK环境已经部署完毕情况下）：1、获取模型文件（1）resnet50_pytorch_1.3.onnx文件存放到 image_resnet50/data/models/resnet50 目录下2、模型文件转换（1）image_resnet50/data/models/resnet50目录下执行模型转换，根据芯片类型，执行atc_310.sh 或 atc_310P3.sh
转载
2024-07-22 14:02:22
101阅读
1. Introduction除了Inception架构直接的集成 ResNet形成Inception-ResNet v1、v2之外，我们还研究了 Inception 本身是否可以通过使其更深更广而变得更高效。为此，我们设计了一个名为 Inception-v4 的新版本，它比 Inception-v3 具有更统一的简化架构和更多的 Inception 模块。2. Related Workresne
转载
2024-04-29 21:09:14
107阅读
数据集：查看数据集图片 iChallenge-PM中既有病理性近视患者的眼底图片，也有非病理性近视患者的图片，命名规则如下：病理性近视（PM）：文件名以P开头非病理性近视（non-PM）：高度近似（high myopia）：文件名以H开头正常眼睛（normal）：文件名以N开头我们将病理性患者的图片作为正样本，标签为1； 非病理性患者的图片作为负样本，标签为0。从数据集中选取两张图片，通过LeNe
转载
2024-06-05 11:13:39
31阅读
论文地址：https://arxiv.org/abs/1709.01507代码地址：https://github.com/madao33/computer-vision-learning1.是什么？SE-NET网络是一种基于卷积神经网络的模型，它引入了SE（Squeeze-and-Excitation）块来增强通道之间的相互关系。SE块通过学习每个通道的重要性权重，使得有用的特征被放大，没有用的特
转载
2024-07-25 09:40:39
70阅读
这篇文章搭建的是resnet18网络模型，由于是自己搭建的，所以加载不了官方的预训练模型。主要是了解一下网络是怎么搭建的。可以加载官方预训练模型的地址（不是我写的）：resnet18网络模型，可加载官方网络模型1.resnet18的网络结构图如下： 2.流程：先经过卷积核kernel_size为（7,7）的卷积层，然后再经过kernel_size为（3,3）的池化层然后再进行
转载
2024-04-22 16:02:30
185阅读
摘要：ResNest主要贡献是设计了一个Split-Attention模块，可以实现跨通道注意力。通过以ResNet样式堆叠Split-Attention块，获得了一个ResNet的变体。ResNest网络保留了完整的ResNet结构，可以直接用下游任务，而不会引起额外的计算成本。ResNest在分类、FasterRCNN、DeeplabV3上都有提升。动机：著名的ResNet是针对图像分类设计的
转载
2024-03-11 16:20:12
638阅读
ResNeXt - Aggregated Residual Transformations for Deep Neural Networks还是先上图最直观： 左边是ResNet50，右边是ResNeXt group=32的bottleneck结构。 ResNeXt就是在ResNet的基础上采用了inception的思想，加宽网络(resnet-inception是网络还是inception的，但
转载
2024-07-25 08:24:03
1126阅读
Attention使得运算聚焦于特定区域，也可以使得该部分区域的特征得到增强。 ‘very deep’的网络结构结合残差连接（Residual Network）在图像分类等任务中表现出了极好的性能。 因此结合attention和residual，突出残差注意力网络。https://www.jianshu.com/p/490f7d5a56ba 网络是在原有的ResNet网络的基础上，添加了一些新的
转载
2024-05-08 16:16:07
73阅读
目录abstractintrobackgroundsignal propagation plots(SPP)scaled weight standardizationdetermining nonlinerity-specific constants
γ
