写在前面 开始学习啦！首先是论文的一些基本情况介绍： 网络的结构图： 网络中的亮点一：超深的网络结构如果只是普通卷积层和池化层的堆叠，网络层数越多，效果越差。产生的原因：梯度消失 / 爆炸问题 和 退化问题梯度消失：假设每一层的误差梯度都是一个＜1 的数，那么在反向传播的过程中，每向前传播一层，都要乘以一个＜1 的系数。那么当网络越
转载
2024-04-27 18:39:56
78阅读
目录一、前言二、论文解读三、DPN代码复现 四、总结一、前言● 难度：夯实基础⭐⭐
● 语言：Python3、Pytorch3
● 时间：2月26日-3月3日
?要求：
1、对Resnet和Densenet进行总结和探索结合的可能性
2、查阅论文找到结合的点 二、论文解读论文：DPN（Dual Path Networks）DPN是在resneXt,de
前言:出现再段落中的[1]表示参考文献索引，(1)表示参考资料索引问答总结rnn产生的原因是什么?画出rnn示意图，说明参数维度.rnn的梯度消失/爆炸问题是怎样的?梯度裁剪是为了解决什么问题。LSTM的产生原因是什么，提出时间是什么时候？画出LSTM示意图，说明它为什么可以解决梯度消失问题，其和ResNet有什么关系？ 文章目录一、RNN1、产生原因2、结构3、简单实例4、隐藏层蕴含了什么信息5
在前面的章节里，已经给大家介绍了什么是RNN网络的进阶型——LSTM网络的基本知识，如果不清楚的同学请移步到《Pytorch与深度学习 —— 10. 什么是长短期记忆网络》。在《Pytorch与深度学习 —— 9. 使用 RNNCell 做文字序列的转化之 RNN 入门篇》 这篇文章里，我提前做了一些简单的铺垫，例如独热向量等基础知识后，现在我们就正式开始回答在介绍RNN网络模型一开始便提到的姓名
转载
2024-08-09 00:04:57
313阅读
文章目录1. CNN + RNNCNN卷积神经网络 RNN递归神经网络1.1 相同点:1.2 不同点:1.3 组合方式实现2. 图片标注2.1 问题描述:2.2 模型设计2.3 模型设计2.4 模型运行2.5 图片标注升级3. 视频行为识别3.1. CNN特征简单组合3.2. 3D版本CNN图像特征的前后关系没有很好的区别4. 图片/视频问答4.1 图片问答的意义4.2 方法流程 1. CNN
转载
2024-03-26 07:30:23
69阅读
1、CNN介绍CNN是一种利用卷积计算的神经网络。它可以通过卷积计算将原像素很大的图片保留主要特征变成很小的像素图片。本文以李宏毅老师ppt内容展开具体介绍。1.1 Why CNN for Image ①为什么引入CNN ？图片示意：给定一个图片放入全连接神经网络，第一个hidden layer识别这张图片有没有绿色出现？有没有黄色出现？有没有斜的条纹？第二个hidden layer结合第一个h
转载
2024-10-16 20:15:34
70阅读
深度学习与图神经网络学习分享：CNN 经典网络之-ResNetresnet 又叫深度残差网络图像识别准确率很高，主要作者是国人哦深度网络的退化问题深度网络难以训练，梯度消失，梯度爆炸，老生常谈，不多说resnet 解决了这个问题，并且将网络深度扩展到了最多152层。怎么解决的呢？残差学习结构如图在普通的卷积过程中加入了一个x的恒等映射（identity mapping）专家把这称作 skip co
转载
2024-04-08 21:48:49
133阅读
VGG全文翻译移步：2014年提出VGG-Net网络。研究了卷积网络深度对大尺度图像识别精度的影响，更深的网络能提高性能。之前的改进：更小的接受窗口、较小的步幅。ImageNet Challenge 2014定位和分类过程中分别获得了第一名和第二名。1、特性/贡献1、相比AlexNet及13年方法，使用了更小的感受窗口尺寸和更小的第一卷积层步长，将深度推到16-19加权层可以实现对现有技
前言SegNet 的新颖之处在于解码器对其较低分辨率的输入特征图进行上采样的方式。具体地说，解码器使用了在相应编码器的最大池化步骤中计算的池化索引(记录了最大池化时最大值所在的位置)来执行非线性上采样。这种方法消除了学习上采样的需要。经上采样后的特征图是稀疏的，因此随后使用可训练的卷积核进行卷积操作，生成密集的特征图。我们将我们所提出的架构与广泛采用的 FCN 以及众所周知的 DeepLab-La
1、Introduction提出问题：随着网络越来越深，梯度就会出现爆炸或者消失 解决方法： 1、在权重随机初始化的时候，不要特别大也不要特别小 2、在中间加入一些normalization,包括BN（batch normalization)可以使得校验每个层之间的输出和梯度的均值和方差相对来说比较深的网络是可以训练的，避免有一些层特别大，有一些层特别小，使用这些技术之后能够收敛，但是当网络变深的
转载
2024-05-13 09:47:47
926阅读
五、VGG、AlexNet、ResNet网络（超详细哦）1、 VGG 网络1.1、 VGG网络结构1.2、理解VGG16（19）卷积网络2、AlexNet网络2.1、AlexNet网络结构2.2、理解AlexNet网络2.3、Alexnet网络中各层的作用3、ResNet网络！！！写博客不容易，请君给个赞在离开！！！ 1、 VGG 网络1.1、 VGG网络结构下面是VGG网络的结构（VGG16和
转载
2024-03-11 14:45:52
187阅读
一、背景自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子，无法实现并行，并且面临对齐的问题。所以之后这类模型的发展大多数从三个方面入手：input的方向性：单向 -> 双向深度：单层 -> 多层类型：R
论文链接：https://arxiv.org/abs/1904.011691.来先看看摘要对于许多视觉任务来说，在多个尺度上表示特征是非常重要的。卷积神经网络(CNNs)不断发展，并显示出较强的多尺度表示能力，在广泛的应用中一致取得了性能的提升。然而，大多数现有的方法以分层的方式表示多尺度特性。在本文提出了一种新的CNNs模块，即Res2Net，通过在一个残差块内构造分层的类残差连接。Res2Ne
转载
2024-06-05 09:01:14
55阅读
cnn卷积神经网络的原理一个典型的卷积神经网络为：输入 -> 卷积 -> RelU -> 池化 -> RelU -> 卷积 -> … -> 池化 -> 全连接层 -> 输出对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。在通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。CNN不仅可以用于图像识
转载
2023-09-06 22:13:31
92阅读
这次到CRNN部分了，CRNN网络很简单，就是CNN+RNN，因为RNN适用于时间序列类型的数据，车牌呢，其实也是有规律的，比如第一位是汉字，后面是字母+汉字；前一部分通过MTCNN将车牌区域已经定位了，那这部分就需要拿CRNN来对其进行训练，使其能作为一个pipeline处理MTCNN输出的车牌图像；首先是CNN+RNN的网络，这里使用的网络比较简单，CNN部分使用了浅层网络和BN层，最终输出s
转载
2024-08-09 15:32:14
55阅读
前言传统的RNN到后期会出现梯度消失现象，前面的内容到后面已经没有办法get到，为此，LSTM和GRU诞生了。LSTM长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，因此需要一
转载
2024-07-14 08:22:13
68阅读
Recurrent Neural Networks人类思维具有连贯性。当你看这篇文章时，根据你对前面词语的理解，你可以明白当前词语的意义。即是由前面的内容可以帮助理解后续的内容，体现了思维的连续性。传统的神经网络(RNN之前的网络)在解决任务时，不能做到像人类思维一样的具有连续性，这成为它的一个主要不足。比如你想对电影不同时刻发生的故事情节进行事件的分类，就无法利用传统的神经网络，根据电影中前面时
转载
2024-06-13 20:17:07
226阅读
(ResNet)Deep Residual Learning for Image Recognition摘要：更深的神经网络更难训练。我们提出了一种残差学习框架来减轻网络训练，这些网络比以前使用的网络更深。我们明确地把学习每一层变为学习关于每一层输入的残差函数，而不是学习未参考的函数。我们提供了全面的经验证据说明这些残差网络很容易优化，并可以显著增加深度来提高准确性。在ImageNet数据集上我们
转载
2024-08-18 23:37:49
109阅读
# 如果步长不为1, 用1*1的卷积实现下采样
if stride != 1:
self.downsample = torch.nn.Sequential(
# 下采样
torch.nn.Conv2d(in_channels=inplanes, out_channels=planes, kernel_size=(1
目录00 前言01 DenseNet是什么？参考00 前言论文：《Densely Connected Convolutional Networks》论文地址：Densely Connected Convolutional Networks | IEEE Conference Publication | IEEE Xplore01 DenseNet是什么？ ResNet
极⼤地改变了如何参数化深
