Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks
https://arxiv.org/abs/1810.00825 https://github.com/juho-lee/set_transformer
许多机器学习任务，比如 多实体学习、3D形状识别、few-shot图像分类 被定义为实体的集合，解决这类问题时不关心集合内元素的顺序，模型不受 元素的顺序变化 影响，我们提出一种基于注意力机制的神经网络模块Set Transformer来专门解决这类输入是一个集合的问题。
模型包括encoder和decoder，都依赖于注意力机制，为了降低计算复杂度，我们 参考稀疏高斯过程 引入注意力体系，达到降低 自注意力的 计算复杂度为 正比于集合中的元素个数，在多个任务评估中，在集合结构的数据集 达到业界最佳水平。
