bert就是无监督训练的transformertransformer :seq2seq model with “self-attention”单向的RNN: 在输出b4的时候，已经看了a1~a4 在输出b3的时候，已经看了a1~a3 双向的RNN: 在输出每一个bi的时候，已经看了a1~a4 RNN的优点： 可以考虑到长距离的依赖 RNN的缺点： 不能实现并行化也可以用CNN来处理序列数据，图中每
转载
2024-04-16 13:04:43
196阅读
系列文章目录本文总结了2021年以来，所有将CNN与Transformer框架结合的CV算法如有疑问与补充，欢迎评论 CNN+Transformer系列算法系列文章目录前言一、Conformer(国科大&华为&鹏城)1.框架概述2.方法3.CNN分支4.Transformer分支5.FCU单元（Feature Coupling Unit6.实验结果7.总结二、Mobile-Form
转载
2024-03-07 21:24:55
2302阅读
LSTM+CTC详解随着智能硬件的普及，语音交互请求会越来越多。 2011年之后，深度学习技术引入到语音识别之后，大家也一直再问一个问题，深度学习技术还能像刚提出时候那样，持续大幅度提升现在的语音识别技术吗？语音技术能够从小规模的使用转向全面产业化成熟吗? 如果全面产业化成熟，意味着会有越来越多的语音处理需求，但百度语音技术部的负责人贾磊说，如果线上50%的搜索都由语音完成，而
提示：作者将用一个系列的博客，总结机器/深度学习算法工程师岗位面试中常见的一些知识点，以帮助小伙伴们更好的应对面试。本系列的内容包括如下： 系列一：机器学习相关基础知识小Tip 系列二：Python基础总结 系列三：CNN相关知识 系列四：Transformer相关知识总结 系列五：经典/热门模型介绍，及深度学习常用知识点 系列六：PyTorch相关知识点及端侧部署基础知识 注：以防再也找不到我，
转载
2024-08-27 09:56:00
571阅读
Transformer模型1 seq2seq方法对比CNN：将序列分为多个窗口（卷积核），每个窗口具有相同的权重，可以带来平移不变性的好处；卷积核之间可以进行并行计算；根据局部关联性建模，若想获得更大的感受野，除了增加卷积核尺寸，还需要增加多层卷积；对相对位置敏感（旋转），对绝对位置不敏感（顺序）。RNN：对顺序敏感；无法并行计算，耗时；长程建模能力弱（前后序列跨度大，若保存数据则耗费空间过大）；
转载
2024-07-17 16:12:46
288阅读
RNN、CNN和Transformer是目前在NLP中最常用的三个特征抽取器，本篇博客将对它们三个做一下全面对比。RNN1、为何RNN能够成为解决NLP问题的主流特征抽取器 主要原因还是因为RNN的结构天然适配解决NLP的问题： （1）NLP的输入往往是个不定长的线性序列句子，而RNN本身结构就是个可以接纳不定长输入的由前向后
转载
2024-08-12 12:14:16
308阅读
单位：MBZUAI（位于阿布扎比的默罕默德人工智能大学），IIAI（起源研究院，邵岭团队） ArXiv: https://arxiv.org/abs/2206.10589 Github: https://github.com/mmaaz60/EdgeNeXt导读：CNN和Transformer单独玩出的花样层出不穷。你中有我我中有你的思想，交替出现，例如Large Kernel CNN试图去模仿
转载
2024-04-13 10:52:53
164阅读
Transformer 有可能替代 CNN 吗？现在下结论还为时过早。Transformer 的跨界之旅，从 2020 延续到了 2021。2020 年 5 月，Facebook AI 推出了 Detection Transformer（DETR），用于目标检测和全景分割。这是第一个将 Transformer 成功整合为检测 pipeline 中心构建块的目标检测框架， 在大型目标上的检测性能要优
转载
2024-05-05 21:54:11
208阅读
作者丨王云鹤导读到底CNN和Transformer哪个更好？当然是强强联手最好。华为诺亚实验室的研究员提出一种新型视觉网络架构CMT，通过简单的结合传统卷积和Transformer，获得的网络性能优于谷歌提出的EfficientNet，ViT和MSRA的Swin Transformer。摘要近年来，Transformer在视觉领域吸引了越来越多的关注，随之也自然的产生了一个疑问：到底CNN和Tra
转载
2024-04-16 09:59:13
187阅读
前 言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。解决问题：YOLOv5主干特征提取网络为CNN网络，CNN具有
转载
2024-03-28 07:52:22
274阅读
1.RNN和CNN的局限性RNN是seq2seq的模型，RNN不易平行化，如果是单向的话，要输出\(b^3\)，需要先看完\(a^1, a^2, a^3\)。如果是双向的话，可以看完整个句子。CNN在高层的时候，可以考虑距离更长的信息，CNN易于并行化。CNN的缺点是，考虑的只是局部内容，要考虑长距信息，需要叠加很多层。2.Self-attentionattention和bi-RNN有同样的能力，
转载
2024-04-08 20:58:08
301阅读
、作者丨杜伟、陈萍导读无残差连接或归一化层，也能成功训练深度transformer。尽管取得了很多显著的成就，但训练深度神经网络（DNN）的实践进展在很大程度上独立于理论依据。大多数成功的现代 DNN 依赖残差连接和归一化层的特定排列，但如何在新架构中使用这些组件的一般原则仍然未知，并且它们在现有架构中的作用也依然未能完全搞清楚。残差架构是最流行和成功的，最初是在卷积神经网络（CNN）的背景下开发
转载
2024-04-19 15:48:23
29阅读
Transformer模型由《Attention is all your need》论文中提出，在seq2seq中应用，该模型在Machine Translation任务中表现很好。动机常见的seq2seq问题，比如摘要提取，机器翻译等大部分采用的都是encoder-decoder模型。而实现encoder-decoder模型主要有RNN和CNN两种实现；CNNcnn 通过进行卷积，来实现对输入数
转载
2024-04-30 04:12:41
75阅读
目标检测之 R-CNN系列前言R-CNN系列一、[R-CNN](https://arxiv.org/abs/1311.2524)二、 [Fast R-CNN](https://arxiv.org/abs/1504.08083)三、[Faster R-CNN](https://arxiv.org/abs/1506.01497)四、 [Mask R-CNN](https://arxiv.org/ab
BERT 就是 UNsupervised trained TransformerBert 只用到了 Transformer 结构中的 Encoder 部分，训练的时候不需要标注序列。比如训练一个中英翻译模型，只收集中文语料就可以了，并不需要输入对应翻译之后的英文文本。Transformer 就是 用到了大量 Self-attention layer 的 Seq2seq model下面来看看 Sel
转载
2024-08-19 20:35:13
63阅读
原作：罗浩.ZJU Transformer 的较好特性使之在 NLP 任务上取得了巨大成功。Transformer 前几年在 CV 领域主要被用于 Sequence 信息挖掘，例如一些 Video 任务中将 Transformer 接在 CNN 特征后以进行时序特征融合，当时 Transformer 还在
转载
2024-08-08 22:20:09
104阅读
©作者 | 机器之心编辑部由于复杂的注意力机制和模型设计，大多数现有的视觉 Transformer（ViT）在现实的工业部署场景中不能像卷积神经网络（CNN）那样高效地执行。这就带来了一个问题：视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大？近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。基于此，来自字节跳
转载
2024-08-08 12:13:11
79阅读
简单学习BoTNet1.简单介绍 如今transformer热度较高，越来越多的人都来研究transformer，并将其用于CV领域，下图（出自BoTNet论文）就介绍了当前self-Attention在CV领域的应用，而本篇文章的主角BoTNet就是利用CNN+transformer的方式提出一种Bottleneck Transformer来代替ResNet Bottleneck。 2.大体结构
转载
2024-02-18 19:40:04
156阅读
Vision Transformer的由来图像识别常见的网络模型在 Vision Transformer 模型出来之前，我们通常使用的都是基于卷积神经网络（CNN）的模型的变种，经典的 CNN 模型如：ResNet，Google Net，AlexNet等，但是呢 CNN 有一个不可忽视的缺点，在大模型上容易出现过拟合的现象。Vision Transformer模型的优势Vision Transfo
转载
2024-06-28 20:17:15
255阅读
跟风，听说最近Transformer很热，那肯定有其过人之处，今天大概看了一下最基础版的Transformer，简单说说体会和理解吧，不一定对，希望路过的大神指点。要说是革命性的变革，那显然不是，Transformer和CNN以及RNN等都是机器学习的范畴，要说一点没变，那也不是，Transformer最大的特点，个人理解，是其Self-Attention机制，至于说这个机制是从哪儿得到的启发，暂
转载
2024-04-09 11:13:01
120阅读
