细数最近NLP领域的热门关键词,transformer、多模态、预训练,还有不得不提的prompt。

本质上说,prompt是一种激发语言模型中知识的手段。随着prompting技术的大火,有越来越多的研究者在思考,Prompt(除了让这个方向的研究越来越卷)还能带来什么?

与此相类似的,对比学习在自然语言中备受关注。它使用成对的训练数据增强为具有良好的表示能力的编码器构建分类任务。可能是因为对比学习研究的持续热度,2202年以来文本表示方向突然就卷起来了,SOTA刷的嗖嗖的,卑微的科研er表示,上一个工作才开始熟悉,新的SOTA就狠狠砸过来……

当对比学习遇上prompt,擦出了怎样的火花……_持续更新

好,你厉害,我读还不行吗。

作为近年来NLP最火的两个方向,对比学习和prompt吸引了足够多的关注。纵观今年各大顶会上的最新论文,我们可以观察到对比学习出现的频率明显增高,并且各种改进也层出不穷,一句话就是,开始卷起来了!

NLP发展至今,已经延伸出很多的子方向、子领域,单单从顶会论文的收录情况来看,很难不让人有这样的疑惑:感觉所有方向都有人做过了,好不容易有了一个idea,上网一搜,早已有人用来发了论文。