一、从零构建大模型
《从零构建大型语言模型》的作者是威斯康星大学麦迪逊分校的终身教授,在GitHub、油管、X上拥有大量粉丝,是一位真正的大佬。
这本书在github已经吸引了惊人的21.7k标星!
在本书中,我们将从内到外了解 LLM 的工作原理。通过清晰的文字、图表和实例,详细解释了构建大型语言模型的每一个阶段。
从最初的设计和创建,到使用通用语料库进行预训练,直至针对特定任务进行微调,Sebastian Raschka以逐步指导的方式,带领读者深入了解LLM的内部工作原理。
二、书籍内容
第一章 理解大型语言模型(Understanding Large Language Models)
1.1 什么是LLM?(What is an LLM?)
1.2 LLM的应用(Applications of LLMs)
1.3 建立和使用LLM的阶段(Stages of building and using LLMs)
1.4 将LLM用于不同的任务(Using LLMs for different tasks)
1.5 利用大数据集(Utilizing large datasets)
1.6 仔细观察GPT架构(A closer look at the GPT architecture)
1.7 构建大语言模型(Building a large language model)
1.8 总结(Summary)
第二章 处理文本数据(Working with Text Data)
第三章 编码注意机制(Coding Attention Mechanisms)
第四章 从零开始实现GPT模型以生成文本(Implementing a GPT model from Scratch To Generate Text)
第五章 在无标注数据上的预训练(Pretraining on Unlabeled Data)