深度学习（DeepLearning）尤其是卷积神经网络（CNN）作为近几年来模式识别中的研究重点，受到人们越来越多的关注，相关的参考文献也是层出不穷，连续几年都占据了CVPR的半壁江山，但是万变不离其宗，那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味，这里依据时间线索，对CNN发展过程中出现的一些经典文献稍作总结，方便大家在研究CNN时追本溯源，在汲取最新成果的同时不忘经典。
转载
2024-07-09 11:42:51
49阅读
技术背景在分子动力学模拟过程中会遇到一些拓扑结构非常复杂的分子模型，所谓的复杂不仅仅是包含众多的原子，还有各种原子之间的成键关系与成键类型等。这时候就非常能够体现一个好的可视化软件的重要性了，这里我们介绍的VMD是一个业界非常常用、功能也非常强大的一款软件。VMD的安装首先访问VMD官方网站，找到适合自己本地OS和硬件系统的版本进行下载。这里我们本地是Ubuntu20.04的系统，所以下载了一个L
Attention Mechanism可以帮助模型对输入的X每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销，这也是Attention Mechanism应用如此广泛的原因。 之前在做知识库问答和阅读理解问答的研究中都用到了attention机制，效果确实比较显著（虽然减慢训练速度的效果也比较显著…）。在是谷歌发布论
转载
2024-05-27 22:53:28
79阅读
点赞
Transformer和CNN在处理视觉表征方面都有着各自的优势以及一些不可避免的问题。因此，国科大、鹏城实验室和华为研究人员首次将二者进行了融合并提出全新的Conformer模型，其可以在不显著增加计算量的前提下显著提升了基网表征能力。论文已被ICCV 2021接收。卷积运算善于提取局部特征，却不具备提取全局表征的能力。为了感受图像全局信息，CNN必须依靠堆叠卷积层，采用池化操作来扩大感受野。V
转载
2024-04-26 16:11:01
64阅读
1. 正则化定义修改学习算法，使其降低泛化误差(generalization error)而非训练误差。最新定义：旨在更好实现模型泛化的补充技术，即在测试集上得到更好的表现。(Kukacka et al，2017)2. 正则化用途正则化是为了防止过拟合， 进而增强模型的泛化能力。3. 正则化方法经验正则化：通过工程上的技巧来实现更低的泛化误差方法，比如：提前终止法(earlystopping)、模
文本处理的前提 文本预处理:分词词语 -> id,将词语转化成id表示id矩阵: matrix -> [|V|, embed_size]词语A -> id(5)生成一个字典型的词表label -> id来表示 数据来源:搜狐新闻数据集 提取码 fech 训练集大概为23000条,一共13个分类若读文件头部出现\ufeff,则把编码改成 encoding='utf-8-sig
转载
2024-04-07 21:19:19
35阅读
1.CNN的卷积核是单层还是多层的？描述网络模型中某层的厚度，通常用名词通道channel数或者特征图feature map数。不过人们更习惯把作为数据输入的前层的厚度称之为通道数（比如RGB三色图层称为输入通道数为3），把作为卷积输出的后层的厚度称之为特征图数。卷积核的厚度H, 一般等于前层厚度M(输入通道数或feature map数). 特殊情况M > H。卷积核的个数N, 一般等于后层
转载
2024-05-27 11:03:08
113阅读
这是CNN眼里的一只猫：这是ViT (Vision Transformer)眼里的一只猫:从去年起，Transformer忙着跨界CV，如ViT在图像分类上准确率已超过CNN，大有取代之势。这背后的原因是什么？最近普林斯顿的一项研究认为，Transformer的运作方式更接近人类，连犯错的方式都和人类一样。研究团队在图像分类的准确率之外，增加了对错误类型的分析。结果发现，与CNN相比，ViT更擅长
转载
2024-06-07 11:30:45
62阅读
作者：LingAttention机制早在一两年前就有所耳闻，它作为一般NN，CNN和RNN（LSTM）等深度学习的一个加强技术，当时已经成为NLP领域的研究热点。随着Attention机制在机器翻译、图片描述、语义蕴涵、语音识别和文本摘要等各大领域取得成功，使得它成为现在成为一个不可不学习的技术。本文将由浅入深，通过一个简单例子介绍Attention的机制原理。 预备知识：假设你已经对深
文章目录?1.图像金字塔理论基础?2.向下取样函数及使用?3.向上取样函数及使用?4.采样可逆性研究?5.拉普拉斯金字塔?6.图像轮廓介绍?轮廓近似
?1.图像金字塔理论基础图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采
参考： https://www.bilibili.com/video/BV1UL411g7aX/?spm_id_from=333.880.my_history.page.click&vd_source=de203b26ba8599fca1d56a5ac83a051c一、什么是Transformer Transformer和RNN,CNN不一样，整个网络结构完全由Attention机
转载
2024-06-04 19:01:56
265阅读
一、CNN的结构输入层---->[卷积层*N---->池化层]*M---->全连接层二、卷积、池化和训练卷积运算过程： 以为5* 5的image和 3* 3的filter，stride=1，Relu为激活函数，为例。 feature_map中第一个元素的计算公式： feature_map[0][0]=Relu(1 * 1+1 * 0+1 * 1+0 * 0+1* 1+1 * 0+
转载
2024-01-11 19:42:50
82阅读
前言 attention作为一种机制，有其认知神经或者生物学原理: 注意力的认知神经机制是什么？ 如何从生物学的角度来定义注意力？ 大多数attention (gating) 技巧都可以直接加入现有的网络架构，通过合理设计初始化和训练步骤也
转载
2024-04-15 14:53:08
38阅读
文章目录一、认识3D1.1 三维坐标系二、3D移动 translate3d2.1 透视 perspective三、3D旋转3.1 rotateX3.2 rotateY3.3 rotateZ3.4 rotate3d四、3D呈现 transform-style五、案例5.1 3D导航栏5.2 旋转木马 一、认识3D我们生活的环境是3D的，照片就是3D物体在2D平面呈现的例子 有什么特点近大远小。物体
在自然语言处理中会有这样一种情况：句子的前后之间有着某种关联。而有着这种关联的句子如果在适当的模型中进行训练就能够实现预测下一个词出现的可能性。但典型的CNN网络并不能通过训练获取这种前后关联的时序关系，它不能保持之前所习得的知识。而RNN就解决了这个问题，RNN(Recurrent Neural Network
from__future__importprint_functionimporttensorflowastffromtensorflow.examples.tutorials.mnistimportinput_data#number1to10datamnist=input_data.read_data_sets('MNIST_data',one_hot=True)defcompute_accura
原创
2018-06-07 14:48:33
10000+阅读
因为很多基础知识的讲解，自己也无法更新，所以很多是用的别人的东西，大部分是改进和组合起来解释Deep Learning using Linear Support Vector Machines这篇论文，引用已经放到了最后。介绍本篇论文主要介绍的是支持向量机（SVM）在全连接卷积神经网络（CNN）里的应用。主要进行的优化就是把softmax算法更换为SVM算法。其中SVM使用的模型为2l-SVM。全
转载
2024-11-01 15:39:12
37阅读
卷积层CNN中卷积层的作用：CNN中的卷积层，在很多网络结构中会用conv来表示，也就是convolution的缩写。卷积层在CNN中扮演着很重要的角色——特征的抽象和提取，这也是CNN区别于传统的ANN或SVM的重要不同。对于图片而言，图片是一个二维度的数据，我们怎样才能通过学习图片正确的模式来对于一张图片有正确的对于图片分类呢？这个时候，有人就提出了一个观点，我们可以这样，对于所有的像素，全部
转载
2024-08-07 09:07:41
40阅读
摘要视觉注意已经成功地应用于结构预测任务，如视觉字幕和问题回答。现有的视觉注意力模型一般是空间的，即注意力被建模为空间概率，该空间概率对编码输入图像的CNN的最后一个卷积层特征图进行重新加权。 然而，我们认为，这种空间注意并不一定符合注意力机制——一种结合了随时间推移的上下文注视的动态特征提取器，因为CNN的特征是空间的、通道的和多层次的。在本文中，我们介绍了一种新的卷积神经网络，称为SCA-CN
转载
2024-05-28 23:30:30
31阅读
CNN 已被广泛用在计算机视觉领域，但是近年来各种 CNN 模型复杂度越来越高，计算量越来越大，导致很多模型无法应用在移动端。本文介绍一种高效的 CNN 模型 MobileNets，MobileNets 使用 Depthwise Convolution 和 Pointwise Convolution 替代传统的卷积操作，可以大大减少参数量和计算量。1.Group ConvolutionGroup
转载
2024-03-11 10:40:18
112阅读
