前言
大语言模型是人工智能的分支，也是自然语言处理的数学模型持续演变优化的产物，从神经网络的CNN，RNN，优化到Transformer，从编码-解码，到现在的解码器。实验科学的本质是在现有前沿理论的基础上，针对新问题，提出新的假设，并转化为数学问题，提出算法，然后验证检验，有效的方法以论文发表，供行业进一步的验证，优化，形成新的算法，因此整个过程遵循科学研究的规律，既没有一夜成名，也没有横空出世，只是在庞大的算法体系的基础上持续优化，创新。
这本 《大语言模型：基础与前沿》 是这个领域截至目前比较全的文献综述，给出了从大语言模型的基本原理，到训练大语言模型的分词，大语言模型的调优，到大语言模型的微调，大语言模型的上下文ICL提示词工程，大语言模型重点应用的增强检索，大语言模型的对齐，减毒，并行计算硬件架构，甚至能源和碳轨迹领域的前沿关键研究论文，基本算法的优劣，价值和演进方向都给出了简评，将近30页的参考文献，可见作者是下了功夫的。
第1章大语言模型：辩论、争论与未来发展方向
概述了 LLM 的辩论、争议和未来发展方向
第2章语言模型和分词
讨论了语言模型和分词的基础知识。
第3章深入阐释了 Transformer 架构。
第4章预训练目标和解码策略
深入分析了 LLM 的预训练，涉及预训练目标和解码策略。
第5章上下文学习和轻量级微调
探讨了这些模型的上下文学习和轻量级微调。
第6章训练更大的模型
讨论了扩大尺度法则、涌现能力、并行、混合训练和低精度训练，以实现训练更大的模型。
第7章介绍稀疏专家模型的概念，实现该模型的路由算法与其他改进措施。
第8章检索增强型语言模型
介绍检索增强型语言模型，包括预训练检索增强型语言模型、通过高效和精简检索进行问答和多跳推理、检索增强型 Transformer 等知识点。
第9章对齐语言模型与人类偏好
探讨对齐语言模型与人类偏好，说明了基于人类反馈、基于语言反馈、基于监督学习进行微调的方法。
第10章减少偏见和有害性
探讨了 LLM 如何帮助减少偏见和有害性，提出了检测与减少偏见及有害性的多种办法。
第11章视觉语言模型
将重点转移到视觉语言模型上，探讨如何将视觉信息整合到语言模型中。
第12章环境影响
阐释了 LLM 对环境的影响，并讨论了能源消耗、温室气体排放等问题。
