開心的猫的博客_注意力机制

Arxiv 2206 | Global Context Vision Transformers

本文的目的主要在于改进自注意力计算的高昂计算成本。所以基于局部自注意力的形式进

深度学习

计算机视觉

人工智能

神经网络

注意力机制

原创 2022-12-14 12:42:25 545 阅读

Vision Transformer | Arxiv 2203 - SepViT: Separable Vision Transformer

Arxiv 2203 - SepViT: Separable Vision Transformer论文：https://arxiv.org/abs/2203.15380解读：htt

transformer

深度学习

人工智能

计算机视觉

神经网络

原创 2022-12-14 12:37:46 306 阅读

Vision Transformer之Neighborhood Attention Transformer：更像卷积的Attention

提出了一个neighborhood attention操作。顾名思义，其以query对应的位置为中心来设定局部窗口，从而提取key和value进行计算。这是一种概念上更加简单、灵活和自然的的注意力机制。

transformer

深度学习

人工智能

卷积

邻域

原创 2022-12-14 12:37:41 368 阅读

Vision Transformer | Arxiv 2205 - EdgeViTs: Competing Light-weight CNNs on Mobile Devices

Arxiv 2205 - EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Visio

transformer

深度学习

人工智能

计算机视觉

注意力机制

原创 2022-12-14 12:36:24 190 阅读

Arxiv 2209 | Switchable Self-attention Module

这篇文章设计了一种可切换式的注意力模块（题目中是self-attention，但是实际模块设

深度学习

人工智能

神经网络

计算机视觉

注意力机制

原创 2022-12-14 12:36:12 115 阅读

Vision Transformer | CVPR 2022 - Beyond Fixation: Dynamic Window Visual Transformer

CVPR 2022 - Beyond Fixation: Dynamic Window Visual Transformer论文：https://arxiv

transformer

深度学习

计算机视觉

人工智能

注意力机制

原创 2022-12-14 12:36:06 298 阅读

Vision Transformer | Arxiv 2106 - CAT: Cross Attention in Vision Transformer

Arxiv 2106 - CAT: Cross Attention in Vision Transformer论文：https://arxiv.org/abs/2106.

transformer

深度学习

自然语言处理

人工智能

计算机视觉

原创 2022-12-14 12:36:02 343 阅读

Vision Transformer | CVPR 2022 Oral - Shunted Transformer: Shunted Self-Attention

CVPR 2022 Oral | Shunted Self-Attention via Multi-Scale Token Aggregation本身可以看做

transformer

深度学习

人工智能

计算机视觉

卷积神经网络

原创 2022-12-14 12:35:57 310 阅读

CVPR2022 | MPViT: Multi-Path Vision Transformer for Dense Prediction

本文重点探究Transformer中的multi-scale patch embedding和multi-path structure scheme的设计。

transformer

深度学习

计算机视觉

人工智能

注意力机制

原创 2022-12-14 12:35:27 556 阅读

Arxiv 2106 | Vision Transformers with Hierarchical Attention

本文重新设计了视觉Transformer中的多头自注意力（MHSA），以实现更

深度学习

人工智能

transformer

计算机视觉

注意力机制

原创 2022-12-14 12:34:46 222 阅读

ECCV 2022 | MaxViT: Multi-Axis Vision Transformer

本文是针对Attention操作的一种改进。思路上来说之前的卷积方法中已经使用过类似的策略，但是作者们将这种

transformer

深度学习

人工智能

计算机视觉

原创 2022-12-14 12:34:44 196 阅读

ICCV 2021 Oral | CoaT: Co-Scale Conv-Attentional Image Transformers

设计了一种简化的线性注意力机制，并引入了卷积相对位置编码。基于这些构建了一个包含多尺度特征交互的架构。

卷积

权重

复杂度

原创 2022-12-14 12:34:30 94 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

猫的開心小窝

Arxiv 2206 | Global Context Vision Transformers

Vision Transformer | Arxiv 2203 - SepViT: Separable Vision Transformer

Vision Transformer之Neighborhood Attention Transformer：更像卷积的Attention

Vision Transformer | Arxiv 2205 - EdgeViTs: Competing Light-weight CNNs on Mobile Devices

Arxiv 2209 | Switchable Self-attention Module

Vision Transformer | CVPR 2022 - Beyond Fixation: Dynamic Window Visual Transformer

Vision Transformer | Arxiv 2106 - CAT: Cross Attention in Vision Transformer

Vision Transformer | CVPR 2022 Oral - Shunted Transformer: Shunted Self-Attention

CVPR2022 | MPViT: Multi-Path Vision Transformer for Dense Prediction

Arxiv 2106 | Vision Transformers with Hierarchical Attention

ECCV 2022 | MaxViT: Multi-Axis Vision Transformer

ICCV 2021 Oral | CoaT: Co-Scale Conv-Attentional Image Transformers