最近再从事深度学习方面的工作，感觉还有很多东西不是很了解，各种网络模型的结构的由来还不是很清晰，在我看来所有的网络都是一层层的卷积像搭积木一样打起来的，由于还没实际跑所以还没很深刻感受到几种网络类型的区别，在此我想梳理一下几种常见的网络结构，加深一下理解。 目前常见的网络结构：AlexNet、ZF、GoogLeNet、VGG、ResNet等等都可谓曾一战成名，它们都具有自身的特性，它们都提出
转载
2024-04-03 20:17:48
96阅读
有哪些好看的CNN模型画法？作者：bingohttps://www.zhihu.com/question/62509034/answer/199177562谢邀。第一次答DL相关题目，如有错误，欢迎指正。前几天刚好跟同学讨论到画的好看的CNN图，正好答一下问题，自己也做下整理收藏。说起CNN的模型图，要从经典CNN的相关paper开始：LeNet，1998年；AlexNet，2012年 ；ZF-n
转载
2024-08-08 11:48:44
5阅读
LeNet5LeNet5 诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。自从 1988 年开始，在许多次成功的迭代后，这项由 Yann LeCun 完成的开拓性成果被命名为 LeNet5（参见：Gradient-Based Learning Applied to Document Recognition）。LeNet5 的架构基于这样的观点：（尤其是）图像的特征分布
转载
2024-05-13 11:15:09
147阅读
之前被问到了CNN类基础模型的一些特性，比如1X1卷积，还有经典卷积网络发展及为什么采用此结构，结果被问住了。学习过程中其实没有做过更深层次的思考，比如为什么会选择这种架构，可不可以采用其他结构来替换，只是会用一些经典模型。到最后别人问几个为什么就不知道了。基础还是要加强呀。现在先参考别人的专栏还有论文总结一下。参考： https://zhuanlan.zhihu
转载
2024-07-22 17:53:46
17阅读
序Bi-LSTM的理论就不再说了，本文在前文TextCNN的基础上，将模型改为Bi-LSTM，本意是比较模型效果，但是实际结果不太理想，有过拟和问题。最最前面写着写着感觉变了味道，本来准备水一下，结果拓展了很多出来，很零碎。如果你对理论不太清楚，可以去看：http://colah.github.io/posts/2015-08-Understanding-LSTMs/如果你对tensorflow使
最近需要处理有关语言的模型，因此整理了一份语言处理相关的方法链接LSA、PLSA Language sense analyse, potential Language sense analyse 潜在语义分析–文本稀疏表示–>文本相似度度量、主题模型Word2vec(2013) Word2Vec是Google在2013年开源的一款词向量计算工具，它的特点是将所有的词向量化，这样词与词之间就可
转载
2024-07-29 16:10:11
38阅读
1.基本概念CNN架构演变四项基本原则:局部互联、共享权值、下采样以及使用多个卷积层感受野：如果眼睛没有移动，则视觉刺激影响单个神经元的视觉空间区域被称为其感受野（Receptive Field）神经感知机(neocognitron)的提出，标志了第一个初始的卷积神经网络的诞生，也是感受野概念在人工神经网络领域的首次应用，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特
此篇文章仅作为收藏卷积神经网络 CNN 笔记(高级篇)Posted on 2017-04-25 In Deep learning , CNN | 0 Comments | 1768对应 深度学习知识框架，学习更先进的 CNN，包括 AlexNe
一、LeNet-5算法原理 LeNet-5模型诞生于1998年，是Yann LeCun教授在论文Gradient-based learning applied to document recognition中提出的，它是第一个成功应用于数字识别问题的卷积神经网络，麻雀虽小五脏俱全，它包含了深度学习的基本模块：卷积层，池化层，全连接层。是其他深度学习模型的基
转载
2024-08-08 11:25:07
86阅读
1. DL基础理论 本页PPT给出了本节内容概要，我们从MCP神经元模型开始，首先回顾全连接层、卷积层等基础结构单元，Sigmoid等激活函数，Softmax等损失函数，以及感知机、MLP等经典网络结构。接下来，将介绍网络训练方法，包括BP、Mini-batch SGD和LR Policy。最后我们会介绍深度网络训练中的两个理论问题：梯度消失和梯度溢出。
转载
2024-08-08 12:10:01
61阅读
此篇博客主要是讲一些目前较好的网络发展，提出问题，解决了什么问题,有什么优缺点。1、Alexnet网络，本网络是2012年的分类冠军，掀起来深度学习的热潮，Alexnet参数量巨大，由于受限于硬件计算，作者采用了group 卷积，将特征图分别放入不同gpu进行运算，最后融合，但是此网络存在一个问题，不同特征图分别计算然后融合，如此卷积核只与某一部分的特征图进行卷积，这样卷积核获得的特征
转载
2024-04-29 12:52:22
85阅读
前言入职之后，逐渐转到深度学习方向。很早就打算写深度学习相关博客了，但是由于各种原因被搁置了。 这段时间刚好有空，就把以前的笔记整理总结了一下，温故而知新，以前有些不是特别清楚的概念，通过这次的复习豁然开朗了，也希望自己的分享能够帮助其他人更好地理解CNN。相关资料下面列出的论文都是我学习CNN过程中精读过的论文，也是我认为学习CNN必读的论文，论文的顺序基本上就是CNN结构演
转载
2024-05-28 09:57:08
74阅读
本文主要介绍 CNN 模型复杂度的分析，通常来说模型复杂度一般我们关注：1）时间复杂度：模型训练和推理速度；2）占用 GPU 大小。 模型训练和推理速度模型的训练和推理速度由“运算量”决定，即 FLOPs，“运算量”代表模型的时间复杂度。FLOPs 越大，模型训练和推理越慢，对于 CNN，每个卷积层运算量如下： $$\mathtt{FLOPs=[(C_i
转载
2023-12-18 15:20:21
102阅读
LeNet手写字体识别模型LeNet5诞生于1994年，是最早的卷积神经网络之一。LeNet5通过巧妙的设计，利用卷积、参数共享、池化等操作提取特征，避免了大量的计算成本，最后再使用全连接神经网络进行分类识别，这个网络也是最近大量神经网络架构的起点。卷积网络的第一个成功应用是由Yann LeCun在20世纪90年代开发的，其中最著名的是用于读取邮政编码、数字等的LeNet体系结构。AlexNetA
转载
2024-08-08 22:08:39
16阅读
一、LeNet-5论文：http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf这个可以说是CNN的开山之作，由Yann LeCun在1998年提出，可以实现对手写数字、字母的识别。结构如下： LeNet-5图中的 subsampling，即“亚采样”，就是我们前面说的pooling，因为pooling其实就是对原图像进行采样的一个过程。它总
转载
2023-12-21 10:02:13
143阅读
深度学习-CNN利用Tensorflow实现一个简单的CNN模型1.导入模块2.创建占位符3.初始化参数4.前向传播5.计算损失6.构建模型 利用Tensorflow实现一个简单的CNN模型CONV2D→RELU→MAXPOOL→CONV2D→RELU→MAXPOOL→FULLCONNECTED1.导入模块import math
import numpy as np
import h5py
im
转载
2024-05-06 18:53:11
74阅读
一、什么是胶囊网络1.1普通CNN的缺点：CNN在提取特征时只在乎有没有，不在乎他具体的状态是如何的。上面第一张图片是一个人像，CNN可以正常识别出来；第二张是一个五官错位的图片，CNN仍然将其识别成一张人脸。这是因为CNN是可以识别出人像所具有的具体特征，只要包含这些特征就将其判定为一张人脸。 1.2Hinton自己说过：最大池化层表现的如此优异是一个巨大的错误，是一场灾难。从图中不难
转载
2024-04-18 22:16:06
297阅读
NiN模型1. NiN模型介绍1.1 NiN模型结构1.2 NiN结构与VGG结构的对比2. PyTorch实现2.1 导入相应的包2.2 定义NiN block2.3 全局最大池化层2.4 训练网络 1. NiN模型介绍1.1 NiN模型结构NiN模型即Network in Network模型，最早是由论文Network In Network(Min Lin, ICLR2014).提出的。这篇
转载
2024-05-13 13:00:42
48阅读
摘要：
深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。卷积神经网络(CNN)是深度学习框架中的一个重要算法，本文介绍了CNN主流模型结构的演进过程，从一切的开始LeNet，到王者归来AlexNet，再到如今的CNN模型引领深度学习热潮。本文也将带领大家了解探讨当下与CNN模型相关的工业实践。
演讲嘉宾简介：
周国睿(花名：
转载
2024-08-08 12:11:23
80阅读
一、介绍 2015年谷歌团队提出了Inception V2，首次提出了批量(Batch Normalization)归一化方法，可以提高网络的收敛速度。应用范围广泛。主要的创新点包括：Batch Normalization：在神经网络的每层计算中，参数变化导致数据分布不一致，会产生数据的协方差偏移问题，
转载
2024-04-12 11:58:29
78阅读
