文章目录【图像分类】2020-ViT ICLR1. 简介1.1 简介1.2 解决的问题2. 网络2.1 总体架构2.2 预处理-编码器2.3 Transformer 解码器1) Muti-head Attention2) MLP2.4 分类头3. 代码4. 结果4.1 ViT更需要预训练4.2 ViT模型更容易泛化到下游任务 【图像分类】2020-ViT ICLR论文题目: An Image i
原创
2023-05-10 15:46:27
228阅读
【图像分类】2022-ConvMixer ICLR论文题目：Patches Are All You Need?论文链接：https://arxiv.org/abs/2201.09792代码链接：https://github.com/locuslab/convmixer发表时间：2022年1月引用：Trockman A, Kolter J Z. Patches are all you need?[J
原创
2023-05-10 15:47:31
115阅读
要想实现c这种检测，value的向量是需要能够投影出来location的信息，q和k的向量需要映
原创
2023-01-14 01:28:05
100阅读
会议解读：ICLR2020NLP相关的文章https://neptune.ai/blog/iclr-2020-nlp-nlu
原创
2021-06-29 14:32:30
126阅读
ICLR 2021 Workshop 接收 Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure Zhijie Deng, Yucen Luo and Jun Zhu PDF AutoHAS:
原创
2021-12-29 10:22:21
383阅读
在对抗攻防的领域下，新的防御算法一旦提出，需要进行各种adaptive attack来进行充分评测，从而确保
原创
2024-03-15 15:46:21
0阅读
4月25日（星期一）至4月29日（星期五），International Conference in Learning Representations（ICLR）将连续第三年ij
原创
2024-05-20 09:20:53
4阅读
列表——taineleauLearning Differentially Private Recurrent Language Models Synthetic and Natural Noise Both Break Neural Machine Translation Learning One-hidden-layer Neural Networks with Land
原创
2022-10-07 10:21:34
332阅读
本文提出了一种 CNN 和 ViT 的混合架构，即 FasterViT。这样的混合架构可以快速生成高质量 token，然后基于 Transformer
我们提出了 LSeg，一种用于语言驱动语义图像分割的新型模型。LSeg使用文本编码器计算描述性输入标签（例如“草”或“建筑物”）的嵌入，
YOUR CLASSIFIER IS SECRETLY AN ENERGY BASEDMODEL AND YOU SHOULD TREAT IT LIKE ONEhttps://
原创
2022-07-19 16:33:36
164阅读
今年五月举办 ICLR 2019 会议共接收论文 502 篇，本文将解读其中两篇有关量化神经网络的研究。
UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS
https://openreview.net/pdf?id=Skh4jRcKQ
ANALYSIS OF QUAN
转载
2021-07-02 14:07:37
278阅读
最大化后验策略优化作者：Abbas Abdolmaleki，Jost Tobias Springenberg，Nicolas Heess，Yuval Tassa，Remi Munos我们引入了一种新的强化学习算法，称为最大化后验策略优化（MPO）。我们将介绍几种现有方法，它们直接与我们的推导相关。我们开发了两种离策略（off-policy）算法，并证明它们可与深度强化学习中的最新技术展开竞争。我
原创
2021-04-04 14:01:09
302阅读
论文标题：EXPRESSIVE POWER OF INVARIANT AND EQUIVARIANT GRA
GNN 表达能力的研究一直比较高深莫测的方向，刚入门的小白面对大量的数学公式和推导过程，肝完了还是不能明白其意义所在，心里出现了无数个小问号。但在我看来这个方向是实现从简单的使用GNN转变到深层次理解GNN的基石。
转载
2021-07-05 17:38:10
350阅读
今年五月举办 ICLR 2019 会议共接收论文 502 篇，本文将解读其中两篇有关量化神经网络的研究。
UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS
https://openreview.net/pdf?id=Skh4jRcKQ
ANALYSIS OF QUANTI
转载
2019-06-18 08:37:21
315阅读
DeepLDA 并不是把LDA模型整合到了Deep Network，而是利用LDA来指导模型的训练。从实验结果来看，使用DeepLDA模型最后投影的特征也是很discriminative 的，但是很遗憾没有看到论文是否验证了topmost 的hidden representation 是否也和sof
转载
2017-05-04 20:46:00
172阅读
2评论
文章目录2022-how-do-vits-work ICLR1. 简介1.1 动机1.2 MSA和ViT特性1.3 传统Transformer探究2. 问题1：What properties of MSAs do we need to improve optimization?3. 问题2: Do MSAs act like Convs?4. 问题3: How can we harmonize
原创
2023-05-10 15:49:19
167阅读
ICLR是International Conference on Learning Representatio
原创
2023-06-21 19:26:10
83阅读
文 | 智商掉了一地究竟是Git Clone还是Git Re-Basin？被评论区长文石锤！ 如上图所示，ICLR 2023 官方近期正式宣布评审工作已结束，评分最高的 Git Re-Basin 这项神经网络启发性新研究探索了在深度学习中，SGD算法在高维非凸优化问题令人惊讶的有效性。这篇来自华盛顿大学的工作在推特引起了火热讨论，甚至连 Pytorch 的联合创始人 Soumith Chintal
原创
2023-05-03 08:38:30
93阅读
【前言】：之前断断续续看了很多图网络、图卷积网络的讲解和视频。现在对于图网络的理解已经不能单从文字信息中加深了，所以我们要来看代码部分。现在开始看第一篇图网络的论文和代码，来正式进入图网络的科研领域。
转载
2022-01-03 14:23:24
1216阅读
