今天这篇推文是卖萌屋全新的原创系列———暂且取名为“卖萌屋新闻联播”节目。卖萌屋的作者、小编日常都会在团队群里分享各种最新发现的实用资源、有意思的学术工作。小伙伴们在互相分享的过程中都受益匪浅。我们也非常希望能将其中一些有价值的内容分享给各位小屋的读者们。

区别于过往以介绍单篇工作为主的推送形式,“新闻联播”栏目会将最新鲜的实用信息汇集在一起,以言简意赅的短新闻形式呈现给大家。本文也是小屋的第一次尝试,还请各位多多留言反馈。

有用的资源

EMNLP、NIPS 论文放出

EMNLP 2021 的 paper 都官方放出啦。之前只出了 accepted paper 的标题列表,没给原文 pdf。大家之前相中的 paper 们,现在都可以去尽情翻牌啦~

链接:
https://aclanthology.org/events/emnlp-2021/

NIPS 2021 的 accepted paper 列表也公布了。

链接:
https://neurips.cc/Conferences/2021/AcceptedPapersInitial

吴恩达首届 Data-centric AI 比赛获胜方案

小屋在今年 6 月的时候有向大家推荐过吴恩达老师发起的 Data-Centric AI 竞赛。区别于传统的 Model-Centric 比赛,这项比赛不是给定数据集,让参赛者造更好的模型;而是给定模型,要求参赛者通过不断改进数据以获得更好的模型效果。这种比赛设计其实更加符合真实工程实践中的需求 —— SOTA 模型往往大同小异,真正重要的反倒是数据。

现在该比赛已经结束,获胜队伍们都纷纷将自己的比赛方案整理成文,发布在了 DeepLearning AI 网站上。

卖萌屋新闻联播栏目,倾情上线~_人工智能

选手博文链接:
https://www.deeplearning.ai/blog/
比赛主页链接:
https://github.com/hazyresearch/data-centric-ai/blob/main/README.md

好玩的demo

Hugging Face 上线新工具:上传图片一键生成二次元图片

Hugging Face 家前些天上线了一个新玩具,可以将上传的照片/图片一键变为二次元风画像。emmm虽然其实某图秀秀的美颜软件已经推出类似功能很久了,但效果跟 Hugging Face 家完全不能比... 大家可以上去玩玩,不过现在要排队了,排队时长 30 分钟起步:)


卖萌屋新闻联播栏目,倾情上线~_人工智能_02

demo 链接:
https://huggingface.co/spaces/akhaliq/AnimeGANv2

学术前沿

CMU & Stanford 联合推出多模态基准测试平台 MultiBench

CMU、Stanford 等大学近日联合发布了一个最新的多模态 Benchmark,MultiBench。是目前为止最为全面的测试多模态方法的基准测试平台。共覆盖 15 个数据集、20个预测任务,并提供了超过20种核心多模态方法的标准实现。测试代码完全模块化,非常便于快速实验。做多模态的同学可以关注一下。

卖萌屋新闻联播栏目,倾情上线~_编程语言_03

项目主页:
https://cmu-multicomp-lab.github.io/multibench/
论文链接:
https://arxiv.org/pdf/2107.07502.pdf

谷歌发布大规模情感分类数据集 GoEmotions

Google 最新发布了一个情感分类数据集。此前情感分类的粒度其实非常粗糙,时常只有正/负向两类情感,最多的也不过分到五六种。而且还有一个问题就是,一段文本往往只认为有一种情感——这个假设显然也是不对的。谷歌爸爸这次一鼓作气,设置了 58 种细粒度情感,标注了 58k 的 Reddit 评论。推出了最新数据集 GoEmotions。

卖萌屋新闻联播栏目,倾情上线~_大数据_04

卖萌屋新闻联播栏目,倾情上线~_编程语言_05

UW、Facebook、Allen AI 联合推出语言模型元学习框架 MetaUCL,142 个数据集上验证有效

一个 Few-shot 场景下的的元训练框架,在包括分类、QA、NLI 等等 142 个 NLP 数据集上进行实验,皆优于基准模型。几个基准模型都是非常 competitive 的方法,包括前段时期大火的 instruction prompting

卖萌屋新闻联播栏目,倾情上线~_大数据_06

论文链接:
https://arxiv.org/pdf/2110.15943.pdf
项目地址:
https://github.com/facebookresearch/metaicl

建语料库什么的...让 GPT-3 来办就好啦!

最后推荐一篇非常有意思的论文。以往,我们在某个任务上训练模型的过程是:人类知识 → 手动标注语料库 → 训练模型。这篇文章则探索了另一个思路:无标注语料 → 差不多快要成精了的 GPT-3 → GPT-3 自动生成某任务上的语料 → 训练该任务的模型。这篇文章用 GPT-3 生成了一个尝试知识图谱,用于训练一个具有常识推理能力的小模型。结果这个小模型在常识推理任务上的表现比它的爸爸 GPT-3 还要厉害!


卖萌屋新闻联播栏目,倾情上线~_编程语言_07

论文标题:
Symbolic Knowledge Distillation: from General Language Models to Commonsense Models
论文链接:
https://arxiv.org/pdf/2110.07178.pdf