​https://openreview.net/group?id=ICLR.cc/2019/Conference​

THE NEURO-SYMBOLIC CONCEPT LEARNER: INTERPRETING SCENES, WORDS, AND SENTENCES FROM NATURAL SUPERVISION

我们提出Neuro-Symbolic Concept Learner (NS-CL),即一个 学习视觉概念、单词、句义语义解析 而又不需要显式监督 的模型,取而代之的是,这个模型通过看图和读 问题答案对 来学习,模型建立了一个基于对象的场景表示 以及 将句子转化为可执行的符号程序,为了给两个模块建立桥梁,我们使用 在 场景隐向量表示 上 能执行 神经逻辑推理的模块,
相似于人类的概念学习,模型 基于对象的语言描述 学习视觉概念,
同时,学习到的概念促进 新的单词和解析句子 的学习,我们使用curriculum learning 来指导在 大的图像和语言的组合空间 上的搜索,
扩展的实验展示了 学习视觉概念、单词表示和句子解析的 模型的正确率和效率,
更多的,我们的方法可以轻易的泛化到新的对象属性、组成、语言概念、场景、和问题,甚至新的程序领域,它也对 视觉问答 和 图文转换 这样的应用有作用。