预训练模型是为了解决深度神经学习中大规模参数学习问题，其核心思想是在大数据上对深层次神经网络进行预训练得到模型参数，然后将这些训练好的模型运用到具体的下游任务中。

在现代自然语言处理任务中，用大规模语料库进行无监督训练得到的词的分布式表示被广泛使用，其中Word2Vec实现了在低维条件下用稠密向量对词进行表示，但是这种方式只能提取浅层文本表征，忽略了上下文，无法在不同语境下对词的句法和语义进行有效表示；ELMo采用双向长短期记忆网络对语言模型实现了基于上下文的词嵌入表示；直到Google在Transformer引入了注意力机制，为之后的BERT和GPT奠定了基础。

文本特征提取技术的发展：词级表示→文档级表示

预训练技术是利用大型语料库学习通用语义表示的新方法，传统的基于词袋模型的文本特征提取方法，如词的独热编码，会参数很高的词向量维度，不能提现词之间语义信息和相对位置，n-gram算法和共现矩阵的出现缓解了区分词序的问题；通过结合神经网络和语言模型，词的分布式表示取得了巨大突破。

词级表示：
神经网络语言模型，通过n-gram方法对输入语言模型长文本进行简化处理，忽略长度大于n的词，不同于传统的语言模型，它在词语的表示上采用低维向量，当遇到语义相近的上文时，可以对目标词进行相似的预测。由于在前馈神经网络中使用了全连接的结构，只能处理定长的文本信息；采用循环神经网络在预测目标词时通过迭代的方式获取所有上文信息，使得模型能够处理长度变化的文本序列。