ERNIE: Enhanced Language Representation with Informative Entities（ERNIE） 前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文分享一个对BERT进行改进的预训练模型，其认为传统的预训练模型都只考虑了文本自身，而没有考虑到
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（BERT） 前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文将讲解如今最为火爆的预训练模型——BERT，其于2018年底被提出
Improving Language Undersstanding by Generativ
Attention Is All You Need（Transformer） 前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文将讲解现如今预训练模型的鼻祖——Transformer，虽然这个模型是被用于机器翻译，但是其强大的Attention并行结构使得其成为预训练模型的必备模块。 会
本文主要讲解一种中文预训练语言模型——MacBERT，改进了MLM的策略，具体如何做，快来看看吧～
知识增强的预训练语言模型旨在借助外部知识库的结构化知识，在对语言模型进行预训练的时候显式地让模型学习到结构事实知识。本文分享一篇来自ICLR 2020的知识增强预训练的工作。
In-Context Learning是最近比较火热的方向，其主要针对超大规模模型，在只提供少量标注样本作为提示的前提下，即可以实现很惊艳的效果。
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
