前言
大语言模型是一种由包含数百亿及以上参数的深度神经网络构建的语言模型，通常使用自监督学习方法通过大量无标注文本进行训练。ChatGPT、MOSS都属于大语言模型。
今天给大家带来的这本《大规模语言模型：从理论到实践》 详细介绍了构建大语言模型的四个主要阶段：预训练、有监督微调、奖励建模和强化学习。
每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。本书以大语言模型的基础理论开篇，探讨了大语言模型预训练数据的构建方法，以及大语言模型如何理解并服从人类指令，介绍了大语言模型的扩展应用和评估方法，为读者提供了更全面的视野。
本书旨在为对大语言模型感兴趣的读者提供入门指南，也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。
## 目录 ### 第1章 绪论 1
- 1.1 大语言模型的基本概念 1
- 1.2 大语言模型的发展历程 4
- 1.3 大语言模型的构建流程 8
- 1.4 本书的内容安排 11
第2章 大语言模型基础 13
- 2.1 Transformer结构 13
- 2.2 生成式预训练语言模型GPT 25
- 2.3 大语言模型的结构 33
- 2.4 实践思考 47
第3章 大语言模型预训练数据 49
- 3.1 数据来源 49
- 3.2 数据处理 52
- 3.3 数据影响分析 61
- 3.4 开源数据集 68
- 3.5 实践思考 79
第4章 分布式训练 80
- 4.1 分布式训练概述 80
- 4.2 分布式训练的并行策略 83
- 4.3 分布式训练的集群架构 102
- 4.4 DeepSpeed实践 110
- 4.5 实践思考 127
第5章 有监督微调 128
- 5.1 提示学习和语境学习 128
- 5.2 高效模型微调 131
- 5.3 模型上下文窗口扩展 137
- 5.4 指令数据的构建 141
- 5.5 DeepSpeed-Chat SFT实践 147
- 5.6 实践思考 157
第6章 强化学习 158
- 6.1 基于人类反馈的强化学习 158
- 6.2 奖励模型 163
- 6.3 近端策略优化 168
- 6.4 MOSS-RLHF实践 180
- 6.5 实践思考 191
第7章 大语言模型应用 193
- 7.1 推理规划 193
- 7.2 综合应用框架 197
- 7.3 智能代理 219
- 7.4 多模态大语言模型 228
- 7.5 大语言模型推理优化 238
- 7.6 实践思考 244
第8章 大语言模型评估 245
- 8.1 模型评估概述 245
- 8.2 大语言模型评估体系 247
- 8.3 大语言模型评估方法 260
- 8.4 大语言模型评估实践 274
- 8.5 实践思考 282
参考文献 284
索引 303
