总结:
(1)预训练模型的选择,此为第一步
(2)提示工程,其实就是模版的制作方法,选择一个合适的提示符不仅对准确性有很大的影响,而且对模型首先执行哪个任务也有很大的影响
(3)工程回答:根据任务的不同,我们可能想要以不同的方式设计Z,可能还包括映射函数
(4)扩展范式:如上所述,上述公式仅代表了用于进行这种激励的各种基础框架中最简单的一个。我们将讨论如何扩展这一基本范式,以进一步提高结果或适用性。
(5)基于提示的训练策略:也有训练参数的方法,提示、LM或两者都有。
总结:
(1)预训练LM的主要训练目标是某种预测文本x的概率的目标组成
(2)SLM(标准语言模型):一般从左到右以自回归的方式完成预测