Google于2017年6月在arxiv上发布了一篇非常经典的文章:Attention is all you need,提出了解决sequence to sequence问题的transformer模型,该文章使用全Attention的结构代替了LSTM,抛弃了之前传统的encoder-decoder模型必须结合CNN或者RNN的固有模式。在减少计算量和提高并行效率的同时还取得了更好的结果,也被评为2017年 NLP 领域的年度最佳论文。那么,下面就来详细剖析一下Transformer模型。
本资源整理了包含Vision Transformer & Attention的综合论文列表,包括论文、代码和相关网站。
资源整理自网络,下载及获取见源地址:https://github.com/cmhungsteve/Awesome-Transformer-Attention
目录
内容截图