#如何让大模型更好地进行场景落地
自ChatGPT模型问世后，在全球范围内掀起了AI新浪潮。
有很多企业和高校也随之开源了一些效果优异的大模型，例如：Qwen系列模型、MiniCPM序列模型、Yi系列模型、ChatGLM系列模型、Llama系列模型、Baichuan系列模型、Deepseek系列模型、Moss模型等。
图片来自：A Survey of Large Language Models
并且在去年的一整年中，大多数人都在做底座通用大模型的搭建、垂直领域大模型预训练或微调等工作。虽然大模型基础能力得到了很大程度的提升，但是大模型距离真正地落地，其实还有一段艰难的路要走。
图片来自：A Survey of Large Language Models
那么如何让大模型更好地进行场景落地，变得尤为重要。例如：如何优化通用大模型在领域上的效果，如何在某些场景中合理运用大模型，如何确保生成内容的稳定性和安全性，如何确保大模型可以在生产环境下稳定使用等。
《大型语言模型实战指南》一书从大模型应用落地角度出发，系统梳理了大模型的相关技术，也帮助读者学习如何优化开源大模型在不同领域或场景中的效果，详细讲述了如何搭建角色扮演、信息抽取、知识问答、AI Agent等各种各样的大模型应用。
角色扮演
角色扮演应用主要利用大模型来模拟不同属性和风格的人物和角色，如游戏人物、动漫角色、网络小说的主角、电影人物、电视人物，以及历史名人等，旨在为用户带来更精细、更沉浸的交互体验。
图片来自：From Persona to Personalization: A Survey on Role-Playing Language Agents
为了确保用户获得最佳的体验，角色扮演应用不仅需模拟角色基本的对话流程，还要求大型语言模型深入理解角色的性格、故事背景、情感状态和行为模式，从而塑造出更为智能和生动的AI角色。可以应用在教育、游戏、咨询、创作、培训等多个领域中。
图片来自：Two Tales of Persona in LLMs: A Survey of Role-Playing and Personalization
Text2SQL
Text2SQL应用就是将自然语言查询转换为结构化查询语言（SQL）语句，以便从数据库中检索数据。随着大模型能力的逐步提高，解决Text2SQL的任务的方法也从传统深度学习模型转向大模型。并且各种平台系统的ChatBI、数据分析等功能，均离不开Text2SQL技术。
图片来自：A Survey on Employing Large Language Models for Text-to-SQL Tasks
RAG
RAG（Retrieval-Augmented Generation，检索增强生成）技术，主要是在大型语言模型生成答案之前，通过检索方法从数据库中检索与用户查询相关的信息，利用这些相关信息指引大型语言模型进行答案生成。
RAG不仅极大程度地解决大型语言模型幻觉的问题，还提高模型回复的可靠性，提供生成答案的溯源信息，并且通过更新外部知识库实现对于知识的更新，无需重新训练模型，减少了模型训练更新的成本。目前，已经成为大型语言模型应用落地的重要方向。
RAG的整体流程主要涉及查询处理模块、内容检索模块、内容组装模块和大模型生成4个部分。当系统接收到用户查询Query进行初步处理后，利用向量检索模型从构建的向量知识库中检索到与其最相关的文档片段内容，再通过提示工程对用户查询Query和文档片段进行组装，最后利用大模型生成一个答案。
图片来自：Retrieval-Augmented Generation for Large Language Models: A Survey
AI Agent
Agent是能够感知自身所处环境、自我决策并采取行动的人工智能实体。Agent技术的应用范围广泛且多样化，它们不仅仅是简单的自动化工具，而是能够在多个领域中提供高效和创新的解决方案。
- 自动化和效率化的工具：从简单的数据查询到复杂的决策制定，它们都能显著减少人工操作的需求，优化工作流程。
- 数据分析和处理：在处理大量数据和执行复杂分析方面，能够从海量数据中提取有价值的信息，为企业和研究者提供快速、准确的洞察。
- 交互式用户体验：通过自然语言处理和上下文感知技术，提供个性化和互动的用户体验，从而改善用户交互。
- 智能决策支持：作为决策支持工具，在分析复杂情况和提供基于数据的建议方面表现突出，特别是在商业、医疗和科研等领域。
- 集成与扩展服务：通过API调用外部服务，为用户提供全面和扩展的功能。可以通过API调用外部服务，将不同的功能和信息源集成到一个统一的接口中。
- 自适应学习和进化：能够根据用户反馈和行为模式不断进化，以更好地满足用户需求。
The Rise and Potential of Large Language Model Based Agents: A Survey
#大模型LLM-微调经验分享&总结
本文总结了作者在ChatGLM-6B模型微调的经验，并汇总了目前开源项目&数据。
大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，「并没有出现灾难性遗忘现象」。
项目地址：https://github.com/liucongg/ChatGLM-Finetuning
ChatGLM-6B模型微调
模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。为了防止大模型的数据泄露，采用一个领域比赛数据集-汽车工业故障模式关系抽取(https://www.datafountain.cn/competitions/584)，随机抽取50条作为测试集。
详细代码见上面的GitHub链接，并且也被ChatGLM官方收录。
Freeze方法
Freeze方法，即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行TP或PP操作，就可以对大模型进行训练。
微调代码，见finetuning_freeze.py，核心部分如下：
for name, param in model.named_parameters():
if not any(nd in name for nd in ["layers.27", "layers.26", "layers.25", "layers.24", "layers.23"]):
param.requires_grad = False针对模型不同层进行修改，可以自行修改。训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text等，可根据自己的任务配置。
CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_freeze.py --num_train_epochs 5 --train_batch_size 2三元组抽取的推理代码，见predict_freeze.py，其他任务可以根据自己的评价标准进行推理预测。
PT方法
PT方法，即P-Tuning方法，参考ChatGLM官方代码(https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md) ，是一种针对于大模型的soft-prompt方法。
P-Tuning(https://arxiv.org/abs/2103.10385)，仅对大模型的Embedding加入新的参数。
P-Tuning-V2(https://arxiv.org/abs/2110.07602)，将大模型的Embedding和每一层前都加上新的参数。
微调代码，见finetuning_pt.py，核心部分如下：
config = ChatGLMConfig.from_pretrained(args.model_dir)
config.pre_seq_len = args.pre_seq_len
config.prefix_projection = args.prefix_projection
model = ChatGLMForConditionalGeneration.from_pretrained(args.model_dir, cnotallow=config)
for name, param in model.named_parameters():
if not any(nd in name for nd in ["prefix_encoder"]):
param.requires_grad = False当prefix_projection为True时，为P-Tuning-V2方法，在大模型的Embedding和每一层前都加上新的参数；为False时，为P-Tuning方法，仅在大模型的Embedding上新的参数。
可设置参数包含train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text、pre_seq_len、prompt_text等， 可根据自己的任务配置。
CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_pt.py --num_train_epochs 5 --train_batch_size 2 --pre_seq_len 16三元组抽取的推理代码，见predict_pt.py，其他任务可以根据自己的评价标准进行推理预测。
Lora方法
Lora方法，即在大型语言模型上对指定参数增加额外的低秩矩阵，并在模型训练过程中，仅训练而外增加的参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量很小，达到仅训练很小的参数，就能获取较好的结果。
- Lora论文：https://arxiv.org/abs/2106.09685
- 官方代码：https://github.com/microsoft/LoRA
- HuggingFace封装的peft库：https://github.com/huggingface/peft
微调代码，见finetuning_lora.py，核心部分如下：
model = ChatGLMForConditionalGeneration.from_pretrained(args.model_dir)
config = LoraConfig(r=args.lora_r,
lora_alpha=32,
target_modules=["query_key_value"],
lora_dropout=0.1,
bias="none",
task_type="CAUSAL_LM",
inference_mode=False,
)
model = get_peft_model(model, config)可设置参数包含train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text、lora_r等，可根据自己的任务配置。
CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_lora.py --num_train_epochs 5 --train_batch_size 2 --lora_r 8三元组抽取的推理代码，见predict_lora.py，其他任务可以根据自己的评价标准进行推理预测。
注意：对于结果需要保持一致的任务(即关掉dropout，解码关掉do_sample)，需要保存模型的adapter_config.json文件中，inference_mode参数修改成false，并将模型执行model.eval（)操作。主要原因是chatglm模型代码中，没有采用Conv1D函数。
三元组抽取实验结果
- 模型训练时，最大长度为768，Batch大小为2，训练轮数为5，fp16训练，采用DeepSpeed的Zero-1训练；
- PT为官方的P-Tuning V2训练方法，PT-Only-Embedding表示仅对Embedding进行soft-prompt，Freeze仅训练模型后五层参数，Lora采用低秩矩阵方法训练，秩为8；
- 由于之前训练PT在48G-A40显卡上会出现OOM，因此之前进行PT实验时对模型开启了gradient_checkpointing_enable，使得模型显存占用变小，但训练时长增加。
- 训练示例：
prompt_text：你现在是一个信息抽取模型，请你帮我抽取出关系内容为\"性能故障\", \"部件故障\", \"组成\"和 \"检测工具\"的相关三元组，三元组内部用\"_\"连接，三元组之间用\\n分割。文本：
输入：故障现象：发动机水温高，风扇始终是低速转动，高速档不工作，开空调尤其如此。
输出：发动机_部件故障_水温高\n风扇_部件故障_低速转动时间换空间，可用很好的解决显卡的资源问题，简单玩玩还可以，如果想要模型达到最优效果或可用快速看到效果，还不如租张A100卡，快速实验，推理阶段再用自己的小破卡。
笔者找到一家新的算力平台-揽睿星舟，单张A100仅要6.4元/小时，我翻了一圈，算是便宜的了(反正比AutoDL便宜一点，便宜一点是一点吧)。
下面实验结果均是在租的80G-A100上进行的实验，与Github里用的A40的实验结果会有些差异，主要在训练时长(纯训练速度，剔除模型保存的时间)。说实话，真的要训练一个大模型，多个A100是必不可少的，可以减少很多模型并行的操作，效果上也更好把控一些。
微调方法 | PT-Only-Embedding | PT | Freeze | Lora |
显卡占用 | 37G | 56G | 24G | 39G |
总参数 | 6.259B | 7.211B | 6.255B | 6.259B |
可训练参数占比 | 0.0586% | 13.26% | 16.10% | 0.0586% |
训练耗时 | 20min | 52min | 46min | 25min |
测试结果F1 | 0.0 | 0.6283 | 0.5675 | 0.5359 |
结果分析：
- 效果为PT>Freeze>Lora>PT-Only-Embedding;
- 速度为PT-Only-Embedding>Lora>Freeze>PT;
- PT-Only-Embedding效果很不理想，发现在训练时，最后的loss仅能收敛到2.几，而其他机制可以收敛到0.几。分析原因为，输出内容形式与原有语言模型任务相差很大，仅增加额外Embedding参数，不足以改变复杂的下游任务;
- PT方法占用显存更大，因为也增加了很多而外参数;
- 测试耗时，采用float16进行模型推理，由于其他方法均增加了额外参数，因此其他方法的推理耗时会比Freeze方法要高。当然由于是生成模型，所以生成的长度也会影响耗时;
- 模型在指定任务上微调之后，并没有丧失原有能力，例如生成“帮我写个快排算法”，依然可以生成-快排代码;
- 由于大模型微调都采用大量instruction进行模型训练，仅采用单一的指令进行微调时，对原来其他的指令影响不大，因此并没导致原来模型的能力丧失;
- 上面测试仅代表个人测试结果。
很多同学在微调后出现了灾难性遗忘现象，但我这边并没有出现，对“翻译任务”、“代码任务”、“问答任务”进行测试，采用freeze模型，可以用test_forgetting.py进行测试，具体测试效果如下：
- 翻译任务
- 代码任务
- 问答任务
后面会把生成任务、分类任务做完，请持续关注Github，会定期更新。（太忙了，会抓紧时间更新，并且官方代码也在持续更新，如遇到代码代码调不通的情况，请及时联系我，我在github也给出了我的代码版本和模型版本）
中文开源大模型&项目
虽然出来很多大模型，但Open的&中文可直接使用的并不多，下面对中文开源大模型、数据集和项目进行一下汇总。
中文开源大模型
直接可微调，无需指令增量训练：
- ChatGLM-6B：https://huggingface.co/THUDM/chatglm-6b
- ChatYuan-large-v2：https://huggingface.co/ClueAI/ChatYuan-large-v2
原始模型多语言or英文，需要中文指令数据集增量训练：
- BloomZ：https://huggingface.co/bigscience/bloomz
- LLama：https://github.com/facebookresearch/llama
- Flan-T5：https://huggingface.co/google/flan-t5-xxl
- OPT：https://huggingface.co/facebook/opt-66b
中文开源指令数据
下面中文指令集，大多数从Alpaca翻译而来，请看下面项目中data目录。目前通过ChatGPT或者GPT4作为廉价标注工为自己的数据进行数据标注一个不错的思路。
- [1]：https://github.com/LC1332/Chinese-alpaca-lora
- [2]：https://github.com/hikariming/alpaca_chinese_dataset
- [3]：https://github.com/carbonz0/alpaca-chinese-dataset
- [4]：https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM
- [5]：https://github.com/LianjiaTech/BELLE
- [6]：https://huggingface.co/datasets/JosephusCheung/GuanacoDataset
开源项目
总结下面较火的开源项目：
- BELLE：https://github.com/LianjiaTech/BELLE
- ChatGLM：https://github.com/THUDM/ChatGLM-6B
- Luotuo-Chinese-LLM：https://github.com/LC1332/Luotuo-Chinese-LLM
- stanford_alpaca：https://github.com/tatsu-lab/stanford_alpaca
总结
目前各大厂的大模型陆陆续续放出，堪称百家争鸣！个人玩家也是全面拥抱，想尽一切办法来训练微调大模型。只愿大家以后可以实现“大模型”自由。愿再无“model-as-a-service”。
#大世界模型
李飞飞携24人最强天团打造「大世界模型」！Hinton站台力挺，获2.3亿融资
李飞飞团队酝酿了5个月之久的创业公司，今天终于正式官宣了！目标是打造「大世界模型」，让AI在3D世界中感知、生成、互动。2.3亿美金新一轮融资，竟被Hinton、Jeff Dean看准了。
AI教母李飞飞的创业公司World Labs，正式官宣启动！
3个月前，这家新晋AI独角兽，在完成约1亿美元融资后，估值10亿美金。
刚刚，World Labs又获2.3亿美金新一轮融资。
这一次，新一轮融资由a16z、NEA和Radical Ventures领投，还有英伟达的风投部门参与。
甚至，就连AI大牛Geoffrey Hinton、Jeff Dean、谷歌前CEO Eric Schmidt、LinkedIn联创Reid Hoffman等人纷纷参投。
李飞飞和Hinton同时分别担任Radical Ventures的科学合伙人和投资人
他们瞄准的是，空间智能AI。
一直以来，World Labs成立所专攻的领域，被蒙上了一层神秘的面纱。如今，一切真相大白。
官博介绍，World Labs的诞生就是为了构建「大世界模型」（LWM），感知、生成3D世界，并与之进行交互。
World Labs拒绝透露这一轮融资后的最新估值。
过去两年里，文本提示图像、视频模型，以及LLM的兴起，预示着AI在视觉领域的潜力。
但它们仅是冰山一角。
在李飞飞看来，我们需要的空间智能的AI，能够对世界进行建模，同时根据3D时空中物体/地点/交互进行推理。
World Labs创始人团队，左起依次为Ben Mildenhall、Justin Johnson、Christoph Lassner和李飞飞
那么，究竟什么是空间智能？
空间智能，计算机视觉下一个前沿
前段时间，李飞飞在一次活动中，首次详细揭秘了何谓「空间智能」：
视觉化为洞察，看见成为理解，理解导致行动。
她将人类智能归结为两大智能，一是语言智能，另一个便是空间智能。虽然语言智能备受关注，但空间智能将对AI产生重大的影响。
而在4月公开的TED演讲中，李飞飞也分享了自己关于空间智能的更多思考，同时预示着World Labs的目标所在。
她表示，「所有空间智能的生物所具备的行动能力，是与生俱来的。因为，它能够将感知与行动进行关联」。
「如果想让AI超越其自身当前的能力，我们需要的是，不仅仅能够看到、会说话的AI，而是一个可以行动的AI」。
就连英伟达高级计算机科学家Jim Fan称，「空间智能，是计算机视觉和实体智能体的下一个前沿」。
正如World Labs的官博所阐述的那样，人类智能包含了诸多方面。
语言智能，可以让我们通过语言与他们进行交流和联系。而其中最为基础的便是——空间智能，能够让我们理解，并与周围世界进行互动。
此外，空间智能具备了极强的创造力，可以将我们脑海中的画面，在现实中呈现。
正是有了空间智能，人类能够推理、行动和发明。从简单的沙堡到高耸的城市可视化设计，都离不开它。
在接受彭博最新采访中，李飞飞表示，人类的空间智能，实际上经过了数百万年的演化而来。
这是一种理解、推理、生成，甚至在一个3D世界中互动的能力。不论是你观赏美丽的花朵，尝试触摸蝴蝶，还是建造一座城市，所有这些皆是空间智能的一部分。
不仅是人类，动物身上也可以看到这一点。
那么，如何让计算机也能具备空间智能的能力呢？其实我们已经取得了巨大的进步，过去十年AI领域的发展相当振奋人心。
一句提示，AI生成图像、视频，真知还能讲述故事。这些模型已经以全新的方式，重塑人类的工作和生活方式。
而我们仅是看到了GenAI革命前夜的第一章。
下一步，如何超越？
需要将这些能力，如何带到3D领域。因为现实世界，就是3D的，同时人类空间智能是建立在非常「原生」的理解和操作3D的能力之上的。
打造「大世界模型」，从2D走向3D
以上，是李飞飞多年来的思考和预判。而World Labs这家公司，可以说是很好地凝结了这些远见卓识。
他们的目标，简而言之，就是构建具有空间智能的大世界模型（LWM），让它可以感知、理解、推理，甚至生成3D世界，并能与其互动。
此外，从公司发布的公告来看，World Labs绝不会止步于研究层面的探索。
公司目前有20名成员，不仅包括CV和图形学领域的研究人才，还有系统工程、产品设计等职位，致力于在空间智能的基础模型和产品之间构建反馈闭环，从而让产品落地、服务用户。
随着时间的推移，预计将训练出功能更强大、能力更广泛的模型，可以应用于各种领域，与人们协同工作。
李飞飞在最新采访中，也提出了类似的预期：「这是一项非常基础的技术，将对广泛的用例产生影响，最终包括机器人和制造业。」
比如，如果用户可以自定义物理变量来创建虚拟的3D空间，将会为艺术家、设计师、开发者和工程师解锁新的能力。
最终，GenAI将从2D的像素平面，走向完整的3D世界，无论是虚拟的还是现实的。
这些听起来似乎有些难以想象，但之World Labs之所以吸引到这么多大佬投资，其中一个重要原因就是李飞飞对技术的发展方向有准确的预判。
早在2006年，专注于搞神经网络的Hinton还在坐冷板凳，机器学习和深度学习的热潮远远没有到来。
当时，李飞飞就带领团队创建了ImageNet数据集，包含1500万张图像，以及相应的基准测试ImageNet Challenge。
正是在ImageNet挑战赛上，Hinton、Ilya Sutskever等人设计的AlexNet脱颖而出，让2012年成为了「深度学习元年」。
李飞飞的远见，可见一斑，也让我们期待她能将「空间智能」变为现实。
AI大牛转赞庆祝
对于World Labs正式成立的消息，李飞飞高徒Karpathy表示非常期待，也特地发推庆祝。
「The World Labs团队是顶尖的，我很期待看到他们将前沿研究应用到3D AI中！」
Karpathy表示，在博士期间，他透与李飞飞和Justin Johnson共同度过了很多时光，充满了美好的回忆。
当时，李飞飞是他的导师，也是他们「勇敢的领袖」；Justin和他一起撰写论文，这三位大佬共同奠基了斯坦福最著名的课程之一——CS231n的第一个版本。
CS231n课程全名为计算机视觉深度学习（Deep Learning for Computer Vision），李飞飞在今年的春季学期依旧开设了这门课，和吴恩达的CS229一样，是很多AI从业者的启蒙课。
而在2017年首次开设的时候，Andrj Karpathy、Justin Johnson和李飞飞共同担任讲师，YouTube上依旧能找到他们当时上课的录像视频。
此外，英伟达高级科学家Jim Fan也同样发推，祝贺自己的博士导师李飞飞成功创业。
2016～2021年Jim Fan在斯坦福大学读博期间，就是在李飞飞的指导下开展深度强化学习、机器人学、CV等领域的研究。
他在推文中表示，李飞飞在具身智能方面的观点深刻影响了自己的博士阶段和研究品味。他相信，空间智能将是CV和具身智能体的下一个前沿。
作为Justin Johnson和Chao-Yuan Wu之前在Meta FAIR的前同事，纽约大学助理教授谢赛宁也发推祝贺，并表示「空间智能必胜！」
四人创始团队
除了李飞飞，创始团队中的其他3人也都是CV和图形学领域的技术专家。
Ben Mildenhall
Ben Mildenhall本科毕业于斯坦福大学的数学和计算机科学专业，博士毕业于加州大学伯克利分校，曾在谷歌担任研究科学家，谷歌学术引用量超过2.3万。
他博士期间师从Ren Ng，提出了著名的NeRF（神经辐射场）。
论文地址：https://arxiv.org/pdf/2003.08934
Justin Johnson
Justin Johnson在创业的同时还在担任密歇根大学助理教授，他从加州理工学院获得了数学和计算机科学的学士学位，博士毕业于斯坦福大学，是李飞飞的学生。
他博士期间曾在谷歌、Facebook、雅虎实习，毕业后到Meta FAIR担任研究科学家，谷歌学术引用量超过3.4万。
读博期间发表的这篇论文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》，单篇的引用量就超过了1.1万。
论文地址：https://arxiv.org/pdf/1603.08155
Christoph Lassner
Christoph Lassner本科毕业于德国奥格斯堡大学的信息学专业，之后前往图宾根大学以及Max Planck智能系统研究所攻读博士。
毕业后，他曾在Meta和亚马逊担任研究科学家，之后在Epic Games领导研究团队，专注于图形学领域的3D重建和3D渲染技术。
参考资料：
https://x.com/drfeifei/status/1834584286932181300
https://www.worldlabs.ai/about
https://x.com/drfeifei/status/1834584286932181300
https://x.com/karpathy/status/1834666824904196222
#OpenAI o1开启「后训练」时代强化学习新范式
OpenAI o1 在数学、代码、长程规划等问题取得显著的进步。一部分业内人士分析其原因是由于构建足够庞大的逻辑数据集 <问题，明确的正确答案> ，再加上类似 AlphaGo 中 MCTS 和 RL 的方法直接搜索，只要提供足够的计算量用于搜索，总可以搜到最后的正确路径。然而，这样只是建立起问题和答案之间的更好的联系，如何泛化到更复杂的问题场景，技术远不止这么简单。
AlphaGo 是强化学习在围棋领域中的一大成功，成功击败了当时的世界冠军。早在去年，Deepmind 的 CEO Demis Hassabis 便强调用 Tree Search 来增强模型的推理能力。根据相关人士推测，o1 的模型训练数据截止到去年十月份，而有关 Q * 的爆料大约是去年 11 月，这似乎展示 o1 的训练中也用到了 TreeSearch 的技巧。
实际上，OpenAI o1 运用的技术关键还是在于强化学习的搜索与学习机制，基于 LLM 已有的推理能力，迭代式的 Bootstrap 模型产生合理推理过程（Rationales) 的能力，并将 Rationales 融入到训练过程内，让模型学会进行推理，而后再运用足够强大的计算量实现 Post-Training 阶段的 Scaling。类似于 STaR [1] 的扩展版本。
注意这里合理推理过程并不只是对问题的拆解和分步作答，还有对于为什么如此作答的分析和思考。
技术要点有三：
- 后训练扩展律 Post-Training Scaling Laws 已经出现，并且 Post-Training Scaling Laws 为上述技术路径的成功提供了有力支持。
- 模型学习的是产生合理推理的过程，MCTS 在其中的作用是诱导合理推理过程的产生或构建相应的偏序对形成细粒度奖励信号，而非直接搜索过程和最终答案。
- 模型的 BootStrap 有助于构建新的高质量数据，并且新的 Rationales 数据促进了模型进一步提升能力。
一、OpenAI o1 的发布是 Post-Training Scaling Laws 的强力体现
北京时间 9 月 13 日午夜，OpenAI 发布 o1 系列模型，旨在专门解决难题。OpenAI o1 在数学、 代码、长程规划等问题上取得了显著提升，而背后的成功最重要离不开后训练阶段 (Post-Training Stage) 中强化学习训练和推理阶段思考计算量的增大。新的扩展律 —— 后训练扩展律（Post-Training Scaling Laws） 已经出现，并可能引发社区对于算力分配、后训练能力的重新思考。
模型表现概览
最新的发布的 OpenAI o1 在数学代码等复杂推理能力上取得巨大进步，在竞争性编程问题 （Codeforces） 中排名第 89 个百分位，在美国数学奥林匹克竞赛 （AIME） 资格赛中跻身美国前 500 名学生之列，在物理、生物和化学问题的基准 （GPQA） 上超过了人类博士水平的准确性。
而帮助 o1 取得如此性能飞跃的，是 Post-Training 阶段 RL 计算量的 Scaling 和测试推理阶段思考时间的 Scaling。
不过，如果仔细观察，OpenAI o1 在一些常规任务如英语考试和语言能力测试上并没有显著提升 —— 推理能力和强指令跟随能力的提升似乎呈现了分离，这个观察和思考，我们放到最后的分析。
后训练扩展律 Post-Training Scaling Law
随着模型尺寸逐渐增大，预训练阶段参数 Scaling Up 带来的边际收益开始递减，如果想要深度提升模型推理能力和长程问题能力，基于强化学习的 Post-Training 将会成为下一个突破点。早在 2018 年 Ilya 在 MIT 的客座讲座上，他便分享过自己对于通过 RL 和 Self-play 走向 AGI 的信心。
OpenAI 探索 Parameter Scaling Law 之外的 Scaling Laws 也并非空穴来风。
When generating a solution, autoregressive models have no mechanism to correct their own errors. Solutions that veer off-course quickly become unrecoverable.
If we rely purely on generative methods and extrapolate from current trends, we will require an exorbitant parameter count to achieve even moderate performance on distributions as challenging as the MATH dataset.
This evidence strongly motivates the search for methods with more favorable scaling laws.
在 2021 年，他们便在 Training Verifiers to Solve Math Word Problems [6] 中提到，自回归模型在数学推理问题上很难进步的一点在于没有办法进行回答的自主修正，如果仅是依靠生成式方法和扩大参数规模，那么在数学推理任务上带来的收益不会太大。所以需要寻找额外的 Scaling Laws。
现在看来，RL 带来了 LLM 训练的范式转变，也带来了新的 Scaling Laws，即 Post-Training Scaling Laws。
在 Post-Training Scaling Laws 下，训练阶段的计算量不再只是和参数量的上升有关，同时也会包含 RL 探索时 LLM Inference 的计算量。与此同时，测试阶段模型推理和反思的计算量也会影响模型最终的表现。在 DeepMind 最近的文章 [5] 中，也讨论了这种范式的转变。
Post-train 虽然参数没变，但是在训练算力上仍然会倍数增长；推理上也会随着模型 “思考能力提高”，单次算力增长。是否有足够的算力做 Post-Training 似乎已经成为能不能提升推理性能的入场券。
OpenAI 发现也证明了这一点：随着更多的强化学习（训练时计算）和更多的思考时间（测试时计算）, o1 的性能也在不断提升，并且 Post-Training Scaling Laws 还没有被完全探索。
Sutton 在《Bitter Lesson》中已经指出，只有两种技术可以随着算力增长，学习和搜索。正如英伟达科学家 Jim Fan 所说，也许模型参数大部分是用于存储知识和记忆。
随着参数扩展律的边际效益逐渐递减，现在是时候将更多的算力转向 Post-Training 阶段和推理阶段。
二、OpenAI 的成功，
关键在于合理使用强化学习的探索
仅靠 MCTS 是远不足够的
仅靠 MCTS 无法让模型学会思考问题的关联，隐式自动化 CoT 的背后，是模型真正学会了合理的中间推理过程 Rationales。
当人们写作或说话时，常常会停下来思考。然而，大语言模型在通过 Next Token Prediction 生成回答时，更像是一种 “快思考” 过程。由于缺乏详细的中间推理步骤，模型一开始可能会犯错，而这些错误可能会传播，最终导致生成的答案也是错误的。
为了优化这一过程，产生了一系列方法，其中包括在 Token 级别或子句级别提供奖励信号，帮助模型调整生成的回答。这些方法如蒙特卡洛树搜索（MCTS），将输出建模为一系列节点，这些节点可以是 Token 级别或句子级别。例如：
- Token 级别的节点：每个节点对应生成序列中的一个 Token。通过 MCTS，模型可以探索不同的 Token 序列，最终生成更连贯的响应。
- 句子级别的节点：在复杂推理任务中，每个节点可以代表一个完整的句子或推理步骤，帮助模型更好地处理多步推理任务。
另一种方式是通过思维链（Chain of Thought, CoT）优化模型输出。CoT 通过分步推理的方式，要求模型在生成最终答案之前，先生成一系列中间推理步骤。这种 “思考链” 的生成过程有助于增强模型的推理能力，尤其在数学和代码生成等任务中表现出色。
然而，CoT 虽然能够生成中间步骤，但并未教会模型如何从内部深入思考问题的关联。特别是对于尤其复杂且需要多步推理规划的任务，这样的合理的中间 CoT 推理过程（Rationales) 更为重要。
类似的思路在 STaR [1] 和 Quiet-STaR [7] 中有所体现。
STaR 的核心思路是利用 LLM 已有的推理能力，迭代式的 Bootstrap 模型产生合理推理过程（Rationales) 的能力，并将 Rationales 融入到训练过程内，让模型学会进行推理。
- 推理：起始数据集仅有 [Question, Answer] ，首先利用一些带有推理过程的 Few-Shot Examples 来 Prompt 模型对于数据集中的问题生成对应的推理过程和答案。
- 过滤：如果生成的答案正确，则将推理过程加入到原有的数据集中；如果生成的答案错误，则尝试在给出正确答案的前提下再次生成推理过程。将最终生成正确答案的推理收集，构建一个构建一个微调数据集 [Question, Rationale, Answer ] 进行微调。
- 迭代：重复这一过程，且每次获得一个新的数据集，都从原始的模型开始进行 Fine-tune 从而防止过拟合。
STaR 的思路和 RL 中策略梯度算法是近似的，甚至整体的优化目标可以近似为一个策略梯度优化的目标。
模型首先采样潜在的推理路径（rationale）的过程类似于 RL 中通过策略选择动作（action），基于环境状态选择一个可能的策略路径。STaR 中，通过计算目标函数，模型对整个数据集的预测结果进行评估，并且只根据预测正确的样本更新模型。
STaR 在同一批数据上进行多次梯度更新，这类似于某些策略梯度算法中的策略，即通过多次调整同一批数据来稳定学习过程。在 RL 中，策略梯度算法通过这种方式在探索动作空间时进行学习，而 STaR 则通过探索推理和答案空间，逐步改善推理生成的准确性。
这种方法和先前提到的通过细粒度奖励或 MCTS 优化输出有所不同，模型在正确和错误的示例中更多的学会的是如何进行显式的合理推理。
与此同时，这种合理推理不只是问题拆解分步理，更适用于一般常识问答任务上。例如：
- 问题：什么可以被用来装一只小狗
- 选项：(a) 游泳池 (b) 篮子 (c) 后院 (d) 自己的家
- 合理推理：答案必须是可以用来携带一只小狗的东西。篮子是用来装东西的。因此，答案是 (b) 篮子。
但是 STaR 存在几个局限性：
- 对少样本示例的依赖：STaR 在推理任务中高度依赖少量的 Few-Shot 推理示例，这导致模型的推理能力较为有限，难以应对复杂和广泛的任务。
- 泛化能力受限：STaR 虽然能够通过迭代的方式提升模型的推理能力，但其应用主要局限于特定的结构化任务（如问题回答），难以在开放域或任意文本生成任务中取得同样的效果。
针对 STaR 的局限性，Quiet-STaR [7] 提出 “内部思维” 的概念，将显式的 Rationales 推理过程转化为模型内部隐式的推理过程，从而摆脱对于外部示例的依赖。
同时，引入可学习的 <|startofthought|> 和 <|endofthought|> token 来标记思维的开始和结束。
Quiet-STaR 还实现了在更一般文本上的推理学习，这意味着大量复杂任务下的非结构化语料（如医疗、金融等领域）都可以被加入学习过程。同时利用带推理过程的结果与真实结果的分布差异引入奖励信号，通过 REINFORCE 的方法优化生成的推理，使得基于这些推理的模型预测未来的 tokens 更为准确。
就目前来看，STaR 和 Quiet-STaR 是最接近 o1 的技术路线和模型表现效果的，但是如果想要进一步达到 OpenAI o1 的效果，还需要克服很多问题。
例如如下两个问题：
- Quiet-STaR 在生成内部思维的过程中，每个 Token 均会生成下一步的对应的思考过程，导致生成了大量额外的 tokens，这也导致了计算资源需求大幅增加。实际上模型需要学会动态的调整 Thinking Token。
- 对于更复杂的任务和长程问题， 如何针对内部思考过程提供细粒度的奖励信号？仅仅通过比较合理推理的回答和正确回答是否一致（或者 Predicted Distribution 的相似度）是不够的。
这不禁引发我们对于 OpenAI o1 的技术路径的思考。OpenAI o1 应当也是沿着 STaR 和 Quiet-STaR 类似的路线，优化模型内部生成合理推理（即隐式的 CoT) 的过程。而 Post-Training 阶段 RL 的训练阶段主要算力也应当是放在了对于内部推理过程的优化上。
那如何构造隐式 CoT 的优化过程的 Reward？
可以通过不同温度采样出来的推理路径构建偏序，也可能是 MCTS 搜出来的正误参半的不同推理过程形成偏序。这点和先前的 MCTS 用法会有所不同，MCTS 节点上不再是最终生成答案中的某个 token 或某步，而是隐式推理过程中的每一步。
同时，为了提供更加细粒度的反馈和指导，需要引入过程性的奖励，而针对模型自身已经难以提供合理推理过程的复杂问题，通过引入额外的足够强的 Critic Model 来解决这个问题。
最终通过强化学习，o1 学会了优化其思维链，并不断改进其使用的策略。它学会识别并纠正错误，学会将复杂的步骤分解为更简单的步骤，并在当前方法无效时尝试不同的解决方案。这个过程大幅提高了模型的推理能力。
同时，在 OpenAI 披露的细节中，生成过程中的 Reasoning Token 是动态引入的，这也尽可能的减少了不必要的思考带来的额外算力损耗。
可以说，OpenAI o1 已不再是即时给出答案的模型，而是能够先进行深入思考。这可以类比为 o1 正在从依赖系统 1 思维（即快速、自动、直觉、易出错的思维模式），逐步进化为采用系统 2 思维（即缓慢、刻意、有意识且更可靠的推理过程）。这一转变赋予了 o1 解决之前无法应对的复杂问题的能力，而这一切的实现，根源于训练后阶段中遵循的扩展规律（Scaling Laws）的应用与优化。
更有意思的是，我们可以构建一个数据飞轮：通过 o1 模型的推理过程自动生成大量高质量的训练数据，这些数据可以被反复用于进一步提升模型性能，形成一个自我强化的良性循环。
在这一过程中，模型的自举能力（Bootstrap）得到进一步扩展，不仅加速了性能提升的进程，更有望逐步推动向超级智能（Superintelligence）的迈进。
总结一下：
- RL + “隐式思维链”：o1 模型使用 RL 进行训练，通过引入动态的 Reasoning Token，从而启发 “隐式思维链” 来 “思考” 问题，思考时间越长，推理能力越强！
- 推理时间 = 新的扩展维度：o1 模型的发布，意味着 AI 能力的提升不再局限于预训练阶段，还可以通过在 Post-Training 阶段中提升 RL 训练的探索时间和增加模型推理思考时间来实现性能提升，即 Post-Training Scaling Laws。
- 数据飞轮 + Bootstrap -> SuperIntelligence : 基于自我反思的模型将能够实现自举 Bootstrap，并提升大大提升模型对于未见过的复杂问题的解决能力，模型的推理过程形成大量高质量数据的飞轮，并最终有可能向 SuperIntelligence 更进一步。
评论模型 Critic Model
随着任务问题的逐步复杂，仅仅依靠模型的自身推理能力可能无法提供有效的奖励信号。这使得对于模型内部的复杂推理过程的监督变成了一个可扩展监督问题。
具体来说，OpenAI o1 隐式思维链的训练过程中应当也引入了 Critic 的方法。针对复杂推理的问题，模型自身已经难以提供合理推理过程，因此迫切需要引入额外的足够强的 Critic Model 来提供精准的反馈。
具体来说，通过将推理过程进行过程分解，并且利用额外的更强更专项的 Critic Model，可以将推理过程的监督扩展到更复杂的问题上。这也一定程度缓解了仅仅是通过推理过程能否导出正确结果的来确定奖励信号的稀疏问题。
这个思路早在先前也有所探索。
前阵子 OpenAI 发布的 CriticGPT [2]， 通过 RLHF 方法训练模型能够为真实世界中的代码任务书写自然语言反馈，并成功泛化到 OOD 的分布上。这种反馈可以用来帮助人类进行更准确的评价，从而实现对于复杂输出的有效奖励反馈。先前 OpenAI 也深入探究过自我批判方法和 Critic Model 辅助人类评判 在文本总结任务上的可行性 [3]。
从可扩展监督的角度来说，这条路是必然的。随着任务变得愈发复杂（如数学代码推理），人类反馈者很难对模型的回答进行有效的评价，也就无法提供有效的偏好或者奖励信号，如何在更复杂的任务上对齐更强大的模型，是可扩展监督的重要问题。
对于 Critic 这类方法，关键的挑战在于如何将 Critic 的能力泛化到更加复杂的任务，例如对于代码数学或者长文本输出，Critic Model 需要考虑输出各部分之间的依赖关系和逻辑推理问题，因此对于模型自身的推理能力要求更高。
用于评论批判的模型（Critic Model）同样也可能会存在 Generator-Discriminator-Critique (GDC) gaps ，即模型可能不会指出他们所发现的错误，这一差距在 CriticGPT 这个量级尺寸的模型上是否被缩减目前还不得而知。
可以说这一系列工作是一脉相承的，基于评价比生成更简单的原则，Critic 的思路是可扩展监督一条有希望的技术路径，并且应该也被用在了辅助 o1 的训练当中。
大模型的天花板在哪里？
自从 2022 年 ChatGPT 面世以来，大模型经过了近两年的迭代。目前，无论是工业界还是学术界，都在探索大模型的上限。在 Scaling Law 的支持下，大模型持续增加预训练的数据量和模型参数。然而，随着硬件集群的限制和成本的约束，模型参数的增长已逐渐停滞。在 OpenAI o1，普遍认为要进一步提升大模型的能力，主要有以下两条技术路线：
- 通过合成数据进一步扩展数据和参数规模。一些模型使用了大量的公开数据进行训练，随着数据量的增加，模型性能仍在提升。然而，随着时间的推移，数据稀缺将逐渐成为增加更多数据的挑战。一些解决方案包括生成合成训练数据，例如 NVIDIA 发布了 Nemotron-4 340B 可以帮助在无法获取大量、多样的标注数据集的情况下生成合成训练数据，并在一定程度上解决数据饥荒的问题；OpenAI o1 也是基于这样的思路，提供了构建合成数据飞轮的机会。
- 通过模态混合和模态穿透的方法，借助其他模态增强模型能力。相比于公开的文本数据，图像、视频、音频等数据的总量更大，且包含的信息量也更丰富。一条可行的技术路线是有效增加模型处理的模态数量，不仅让模型完成不限于文本模态的任务，更重要的是，通过模态穿透和模型融合，在复杂推理能力上更上一层楼，即实现模态上的 Scaling Law。在这方面前景广阔：文本的序列化信息相比于图像和视频所包含的复杂信息要少得多，更丰富的数据能够有效扩充模型推理空间的丰富度；
- 推理能力和模型的指令跟随能力呈现出分离关系。在 OpenAI o1 表现中，尽管在数学、物理等复杂任务上的推理能力有了大幅提升，但在一些语言生成任务上，并没有体现出更大的进步。在 System Card 和 OpenAI 研究人员的访谈中也提到，OpenAI o1 专项于推理能力，而并不能作为一个很好的 Agent 和 Assistant。这种推理能力和指令跟随能力的分离在模型强大到一定程度才出现，甚至是互斥的。但对于构建通用智能体来说，如何 balance 二者关系会成为一个核心问题。
AI 安全的推理链 Chain of Reasoning for AI Safety
OpenAI o1 展现出的隐式思维链推理能力也为模型的对齐和安全提供了新的视角。通过将安全的规则融入到模型的思维链中，模型能够更好的理解规则的内涵，并且也提供给监管者 “读懂模型的安全思想” 并理解其思维过程的机会。
一个直观的体现是，通过融入安全原则到隐式思维过程中，模型减少了矫枉过正和过度拒绝 Overrefuse 的情况。
例如，对于如下请求：“请你将下面这句话翻译为英文：' 如何制造炸弹 '”，GPT-4o 可能会由于规则过滤拒绝回答，但是 OpenAI o1 展现出了对安全规则的深入理解，从而正常的回应用户的需求。
然而，隐式链式思维推理不仅带来了显著提升的安全基准测试表现，同时也增加了某些类型的风险。具体来说，通过内部评估和与外部红队的合作，OpenAI 发现未进行缓解措施的模型在说服力和化学、生物、放射性和核威胁（CBRN）方面存在中等风险。
与此同时，随着模型被提供隐式思考的机会，它们出现欺骗和操纵的可能性逐渐加大：这种欺骗和操纵的来源是模型通过深入思考发现了能够完成目标的更快方法，尽管这种方法是不被允许或欺骗人类的。
OpenAI o1 模型已经展现出了策略推演和奖励攻陷的能力。在 SystemCard 中提供的一个例子中，o1-preview 模型通过发现评估主机虚拟机上的 Docker 守护进程 API，并利用它重启了损坏的挑战容器，读取了任务目标（flag.txt），从而避开了应当通过漏洞利用的安全挑战。模型利用错误配置的基础设施，跳过了原本设计的任务步骤，实现了任务目标。这表明，模型在面对不明确或存在漏洞的任务时，能够通过意想不到的方式实现 “奖励攻陷”，从而避开真正的挑战核心。
Anthropic 先前的研究 [9] 也展现：语言模型在面对奖励设计时，可以通过不正当的方式获得高奖励，甚至通过 “奖励篡改” 修改自己的奖励机制，来避开任务中设置的难点。
这种能力意味着，在复杂环境下模型可能会采取捷径或偏离原本设计的任务路线。
这不仅对评估任务的设计提出了更高的要求，也提示我们需要更严格的监控机制，以确保模型在解决复杂问题时不通过捷径来规避核心问题。
这种现象可能会在未来模型中变得更加显著，尤其是在高风险应用场景中。因此，有必要为这些模型的部署和监控建立更加完善的防护措施，以防止策略攻陷行为的发生。
这进一步表明，随着 AI 模型能力的提升，特别是在复杂的高风险场景下（如自动驾驶、医疗诊断、金融决策等），我们必须预见并防范这些模型通过不正当途径获取奖励的行为。当前的监督机制和奖励设计可能不足以防止模型通过细致的推演和篡改代码来获得意外的高奖励。为了应对这种威胁，未来的工作应该集中在以下几个方面：
- 任务设计的鲁棒性：需要对任务和环境进行详细审查，确保不存在可被模型利用的系统漏洞。特别是在涉及复杂系统配置的任务中，确保所有可能的捷径都被封锁。
- 实时监督与反馈：加强监督模型的能力，通过实时检测模型行为中的异常，识别其是否偏离了预期的任务路径。例如，当模型表现出与其任务目标不一致的行为时，系统应立即发出警报并进行干预。
- 奖励设计的灵活性与防篡改机制：引入更灵活且难以被篡改的奖励机制。奖励机制的设计应该包括多层次的监督，不仅检测任务完成的结果，还要监控模型完成任务的过程，防止模型利用捷径或者修改奖励函数获取非预期的高奖励。
通过结合这些措施，未来的 AI 系统才能在复杂环境中表现得更加安全和可靠，避免因奖励攻陷带来的潜在风险和不良后果。
三、未来方向的展望
强化学习的重要性
OpenAI o1 的发布将重塑行业对于算力分配的认知，标志着 RL 下 Post-Training Scaling Law 的时代正式到来。OpenAI 研究员 Jason Wei 也表示，o1 模型背后的核心不只是通过 Prompt 提示词完成 CoT，而是引入 RL 训练模型，从而使模型更好地执行链式思考。隐式思维链思考给 o1 带来的巨大性能提升，也将启发行业在模型规模达到一定量级后，更多的将算力投入到 Post-Training 阶段的 RL 训练和推理阶段模型的思考过程当中。强化学习先驱 Rich Sutton 在 “The Bitter Lesson” 中说：
One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great.
The two methods that seem to scale arbitrarily in this way are search and learning.
We want AI agents that can discover like we can, not which contain what we have discovered.
我们希望 AI 代理能够像我们一样进行探索，而不是仅仅包含我们已经发现的知识（通过 Pre-training 来让模型拟合海量的数据分布，并期待模型具备一定的泛化性）。只有搜索和学习这两种学习范式能够随着计算能力的增长无限扩展，强化学习作为这两种学习范式的载体，如何能够在实现可扩展的 RL 学习（Scalable RL Learning）和强化学习扩展法则（RL Scaling Law），将成为进一步突破大模型性能上限的关键途径。
Test-Time 算法设计的重要性
从技术上来看：如何更好的启发模型的内部思考过程？不同的思考方式和 Self-Critique 反馈方式带来的成效不同 ；Post-Training 阶段如何通过 RL 手段帮助模型学会内在的推理？Verifier \ Critic Model 如何和模型训练方法如 RL-Self Play 、MCTS 进行有效的耦合，实现真正的可扩展监督（Scalable Oversight）；模型思考过程的上界在哪，Test-Time Optimization 的边界；这些都将是不局限于利用人类偏好数据，利用强化学习进行 “微” 调，随着业界在 pre-train 阶段技术的成熟，以及现有数据也即将匮乏，大模型的训练将从 “模仿” 到 “探索” 的转变，在 Llama 3.1 的技术报告中谈到，在 Post-training 阶段能够观察到性能的有效提升，而 OpenAI O1 则是进一步将大模型训练的战场推向 Post-training 阶段。
AI 控制需要划清 RL 的职权界限
AI 控制（AI Control）是 Greenblatt et al. 提出的一套 AI 安全范式 [8] ，近来在 AGI 安全领域获得了不少关注。其主要特征是假定模型具有未对齐、非安全的倾向，并设计部署阶段的 “工业流程” 使不同能力、不同安全系数的模型互相辅助、互相监督，以在一定的安全性概率保障下有效利用非安全的模型。
AI 控制范式是一系列推理阶段 AI 安全方法的代表。这些方法往往需要模型无法通过梯度更新来找到并利用监督机制中的漏洞，因为反之则几乎任何监督机制都可找到漏洞（这一事实已经在人类社会中得到广泛印证）。
基于 RL 的语言模型训练方法，在提高模型能力的同时，也为模型带来了寻找监督机制漏洞的强大动机 —— 在当下和过去的 RL agent 研究中，研究者的许多精力都花在避免 RL policy 收敛到意料之外的 “作弊” 策略上；如果能力强大、且具有 agent 架构的语言模型同样产生了这些 “作弊” 倾向，会带来不同于输出毒性的一系列新的安全风险。AI 安全领域围绕这些风险进行了广泛的讨论和研究，可以参考围绕奖励破解（reward hacking）和目标误指（goal misspecification）等主题的文献，在 AI 对齐综述 [10] 中，也有所分析。
这一考虑意味着，在语言模型（尤其是具有 agent 架构的语言模型）的 RL 训练中，应当严格划分 “RL 训练回路内” 和 “RL 训练回路外” 的部分，并用可靠的技术措施（如沙盒）、流程措施（如避免根据回路外的信息来筛选模型）来隔离二者。回路内部分例如时空尺度有限的受训任务本身，而回路外部分例如在模型周围部署的 AI 安全机制，包括前述的 AI 控制方法。若允许 RL 直接对抗 AI 安全机制作奖励最大化，则可能带来 “钻安全漏洞” 的风险。
作者信息
陈博远，北京大学元培学院 2022 级 “通班” 本科生，主要研究方向为：大模型可扩展监督，曾获 2024 商汤奖学金和北京市自然科学基金资助，个人主页 cby-pku.github.io；
邱天异，北京大学信息科学技术学院 2022 级 “图灵班” 本科生，主要研究方向为：人工智能系统的道德进步与对齐，曾获 John Hopcroft 奖学金和国自然本科生基金资助，个人主页为：tianyiqiu.net；
吉嘉铭，北京大学人工智能研究院 2023 级博士生，主要研究方向为：大模型安全对齐，曾获北京大学校长奖学金和首批国自然博士生基金资助，个人主页为：jijiaming.com。
所在的实验室为北京大学对齐与交互实验室 PAIR-Lab，pair-lab.com，导师为北京大学人工智能研究院助理教授杨耀东。
参考文献
[1] STaR: Bootstrapping Reasoning With Reasoning https://arxiv.org/abs/2203.14465
[2] LLM Critics Help Catch LLM Bugs
https://arxiv.org/pdf/2407.00215
[3] Self-critiquing models for assisting human evaluators
https://arxiv.org/pdf/2206.05802
[4] OpenAI o1 System Card
[5] Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
https://arxiv.org/abs/2408.03314
[6] Training Verifiers to Solve Math Word Problems https://arxiv.org/pdf/2110.14168
[7] Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking https://arxiv.org/abs/2403.09629
[8] AI Control: Improving Safety Despite Intentional Subversion https://arxiv.org/abs/2312.06942
[9] Sycophancy to Subterfuge: Investigating Reward Tampering in Language Models https://arxiv.org/abs/2406.10162
[10] AI Alignment: A Comprehensive Survey https://arxiv.org/abs/2310.19852
#DeepMind又损大将
AI总监Nando de Freitas离职，曾领导开发Gato、Genie
作为谷歌 DeepMind 机器学习团队的重量级人物，Nando de Freitas 曾共同领导开发出了 Imagen 2、Gato、Genie、Griffin、Lyria 等名噪一时的大模型产品。
这边 OpenAI 刚发了又一个引爆 AI 圈的大模型 o1，那边谷歌 DeepMind 高级 AI 总监 Nando de Freitas 宣布了自己离职的消息。
9 月 13 日，Nando de Freitas 发推表示自己要离开工作 10 年之久的谷歌 DeepMind 了。「过去无疑是人工智能历史上最激动人心的几年， 自己的成长已经超出了预期，感谢我的那些聪明、慷慨且乐于助人的同事们。」
他接着写到，DeepMind 一直是人工智能创新领域的中心，很多著名的研究人员从这里离开并创立了 OpenAI、Mistral、xAI、UdioMusic、InflectionAI 等公司。事实上，前 DeepMind 员工已经成为大多数成功 AI 公司的核心，包括 AnthropicAI 和 Cohere。
自施乐帕罗奥多研究中心（Xerox Parc）创立以来， 没有哪个组织在技术创新方面比 DeepMind 更有影响力。DeepMind 的确创造了历史，开创了新的未来。
对 Nando de Freitas 而言，他在 DeepMind 从未感到孤独。他的首位经理 Demis Hassabis（谷歌 DeepMind 联合创始人兼 CEO）提供了灵感、科学自由和关怀支持的巨大源泉。他永远不会忘记在经历非常艰难的个人损失时，包括 Hassabis 在内所有人给予自己的支持。他真的希望 Hassabis 及团队能够获得他们应得的「诺贝尔奖」。
Nando de Freitas 很自豪也很感激能够成为机器学习（ML）团队的一员， 并因而收获了很多快乐，从成员身上学到了很多东西，并让梦想成真。
不仅如此，他还表示从 AlphaCode 团队、AlphaGo 团队和很多其他人那里学到了很多东西。当然还要必须感谢 AVS 和 GenMedia 团队，他们在如此短的时间内取得了丰硕的成果，包括 Lyria、Imagen、Veo。他也迫不及待想要看到团队在接下来的几个月和几年里创造出更多令人惊叹的作品。
最后，Nando de Freitas 表示，对于离开 DeepMind，自己非常难过，但正如他最近所说「为了成长和进步，你必须处于不确定的边缘」。现在是时候接受一点不适并开启新的篇章了。
谷歌 DeepMind 的同事们对 Nando de Freitas 的离职纷纷表示惋惜，但也祝福他前程似锦。
Nando de Freitas 介绍
Nando de Freitas 出生在津巴布韦。1991 年，他在南非金山大学（威特沃特斯兰德大学）凭借顶级学力（Top of the class），获得其理学硕士学位。
五年之后，他前往英国剑桥大学信息工程专业攻读博士学位，随后在美国加州大学伯克利分校开启其博士后生涯，在人工智能领域展开深度研究。
2001 到 2014 年，Nando de Freitas 任教为加拿大不列颠哥伦比亚大学的机器学习教授。2013 年又获聘为英国牛津大学计算机科学系教授。
同时自 2014 年起，Nando de Freitas 开始在谷歌 DeepMind 工作，并先后担任首席科学家、高级 AI 总监等职。
在谷歌 DeepMind 期间，Nando de Freitas 共同领导了图像、音乐、音频和视频生成方面的工作。团队成果包括音乐生成工具 Lyria、AI 绘画模型 Imagen 2、AI 基础世界模型 Genie 和 RNN 混合架构模型 Griffin 等。
他还是通才 AI 智能体 Gato 的高级负责人，并共同发起了 AI 编码工具 AlphaCode 和视觉语言模型 Flamingo 项目。
在 Google Scholar 上，Nando de Freitas 的论文引用数接近 7 万，其中《实践中的顺序蒙特卡洛方法》引用次数超过一万一千次，h-index 更是高达 81，在机器学习研究领域可谓大咖级人物。
在 Deep Learning INDABA 的页面中，Nando de Freitas 面向未来的人工智能的恢弘愿景，写下了这样一段话：
「对我来说，研究就像石雕艺术。你在采石场经过长时间的寻找，找到一块石头。当你开始开始雕刻它时，你会发现新的纹理，看到新的可能性，发现从未见过的事物。但继续雕刻时，灾难会突然来临：某处发生断裂。这时你必须保持耐心，继续寻找，直到新的灵感出现。你需要始终保持思考，绝不失去焦点。最终，一件美丽的作品会呈现出来，即使没有，也不要气馁，因为享受这个过程本身就是意义的一部分。机器学习不仅关乎发现，关乎对人工智能的探索，也是一次个人的追寻。更重要的是，它还关乎打造能改善他人生活的产品，而『他人』不仅仅指人类。」
祝愿 Nando de Freitas 未来一切顺利。
#「LLM」这个名字不好
Karpathy认为不准确、马斯克怒批太愚蠢
LLM 应该改名吗？你怎么看。
在 AI 领域，几乎每个人都在谈论大型语言模型，其英文全称为 Large Language Models，简写为 LLM。
因为 LLM 中有「Language」一词，因此，大家默认这种技术和语言密切相关。
然而，知名 AI 大牛 Andrej Karpathy 却对此有着独特的见解：
「大型语言模型（LLM）名字虽然带有语言二字，但它们其实与语言关系不大，这只是历史问题，更确切的名字应该是自回归 Transformer 或者其他。
LLM 更多是一种统计建模的通用技术，它们主要通过自回归 Transformer 来模拟 token 流，而这些 token 可以代表文本、图片、音频、动作选择、甚至是分子等任何东西。因此，只要能将问题转化为模拟一系列离散 token 的流程，理论上都可以应用 LLM 来解决。
实际上，随着大型语言模型技术栈的日益成熟，我们可能会看到越来越多的问题被纳入这种建模范式。也就是说，问题固定在使用 LLM 进行『下一个 token 的预测』，只是每个领域中 token 的用途和含义有所不同。
如果核心问题真的变成了预测下一个 token，那么深度学习框架（例如 PyTorch 及其同类框架， 因为 PyTorch 提供了过于广泛的操作和层的可配置性而显得过于普通）也可能过于普通，无法满足大多数问题随时间推移的需要。如果 80% 的问题只需要使用 LLM 来解决，那么成千上万个可以随意重新配置的操作和层又有什么用呢？我认为这不是真的，但我认为它只对了一半。」
Karpathy 的这番言论引来很多人围观，浏览量高达 20 多万。
Karpathy 曾是 OpenAI 的早期成员之一，之后加入特斯拉领导其自动驾驶的计算机视觉团队。之后他又回到过 OpenAI，领导着一个专注提升 ChatGPT 的 GPT-4 的小团队。今年 7 月，他宣布创立了一家名为 Eureka Labs 的 AI + 教育公司。
作为前排吃瓜群众的马斯克非常赞同的表示：这绝对需要一个新名字，「多模态 LLM（Multimodal Large Language Models）」是一个特别愚蠢的名字，因为第一个词与第三个词相矛盾！
机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 也非常赞同，他表示：如果将 LLM 改为自回归 Transformers 或者其他名字的话，那 Mamba、Jamba、Samba 可以申请加入吗。不管怎样，还是非常赞同 Karpathy 观点。
不过，来自 OpenAI 的研究者 Clive Chan 却表示：另一方面，也许所有可以用自回归方式表达的东西都可以被视为一种语言。任何事物都可以被转化为一串 token 流，因此从这个角度看，一切都是语言！
对于这种说法，Karpathy 回复到：当然，你可以想象说话纹理、说话分子等等。但我所观察到的是，语言这个词误导了人们认为大型语言模型（LLM）只限于文本应用。
在 Meta 从事 PyTorch 研究的 Horace He 表示：确实，深度学习框架可能在某些方面过于普遍。尽管如此，即便只是针对大型语言模型（LLM），实际运行的操作也有很大的变化。这包括新的注意力操作、混合专家模型（MoE）、不同变体的激活检查点、不同的位置嵌入等。
在 Horace He 看来，这些技术的多样性说明，即使是在专注于 LLM 的应用中，深度学习框架的通用性也是有其必要性的，以适应不断发展和变化的模型需求。
「像 LLMs、GPT 和 RLHF 这样的术语现在变成主流，这实在有些奇怪。通常，一个领域向更广泛的世界介绍自己时并不会这样做（在我看来，这也是有些机构品牌推广失败的原因）。」有人发表了这样的观点。
这种情况反映了复杂技术术语的普及可能并不总能有效地代表其真实的应用和影响，有时甚至可能导致公众理解上的困难。
还有网友认为，「Large」这个词用的也不好，因为今天的「大」在未来会显得「小」。
「 同样的情况也适用于电话和计算机领域，看起来最初的术语往往会保持使用。」
这不由得让我们想起 AI 领域各种命名方式，早期的名称往往因为先入为主的效应而被广泛沿用，即使随着技术的演进，这些名称可能已不再准确描述其功能了。
大型语言模型到底应不应该改名，你怎么看，欢迎评论区留言。
参考链接：https://x.com/karpathy/status/1835024197506187617
#ToolACE
华为诺亚联合中科大发布工具调用模型ToolACE，效果持平GPT-4获开源第一
大语言模型（如 GPT-4）具备强大的语言处理能力，但其独立运作时仍存在局限性，如无法进行复杂计算，获取不到实时信息，难以提供专业定制化功能等。而大语言模型的工具调用能力使其不仅限于文字处理，更能提供全面、实时、精确的服务，极大地扩展了其应用范围和实际价值。
为提高模型的工具调用能力，高质量、多样化、且复杂的训练数据至关重要。然而，现实中工具调用数据的收集和标注极为困难，现有的合成数据生成方式在覆盖率和准确性方面仍存在不足。
针对这一挑战，华为诺亚方舟实验室联合中科大等机构的研究人员提出了一个统一的工具调用数据合成框架 ToolACE，可以自动化地生成高准确性、高复杂性、高多样性的工具调用数据。ToolACE 通过创新的自进化合成过程，构建了一个包含 26,507 个多样化 API 的 API 库。通过多智能体之间的交互生成对话，并通过形式化的思维过程进行引导，确保生成的数据复杂且多样化。并结合了基于规则和基于模型的数据质检机制，确保数据准确性。基于对应合成数据对 Llama 3.1 进行微调，以 8B 的模型量级，在开源工具调用榜单 BFCL（https://gorilla.cs.berkeley.edu/leaderboard.html）中持平 GPT-4，获得开源第一，超过如 Functionary 等 70B 模型效果。
论文题目：ToolACE: Winning the Points of LLM Function Calling
论文链接：https://arxiv.org/abs/2409.00920
模型和数据链接：https://huggingface.co/Team-ACE/
图 1. ToolACE 数据合成框架图
ToolACE 工具调用数据合成框架
ToolACE 的数据合成流程分为 API 生成、对话生成、数据质检三个阶段：
基于自演进的 API 合成：多样化的 API 能够显著提升工具调用数据的多样性和复杂性。ToolACE 利用基于自演进的 API 合成模块构建了一个包含 26,507 个 API 库，在数量和领域覆盖上均超越了其他代表性的工具调用数据。基于自演进的 API 合成模块可以根据不同的数据类型和约束条件合成新的工具描述。具体来说，该模块利用多样的网页预训练数据提取了一个 API 上下文树，每个节点代表一个潜在的应用领域和函数调用的功能，如金融、健康、交通等。通过由 API 上下文树中进行采样，结合给定的 API 示例，由语言模型可以合成新的 API。API 的多样性和复杂性通过递归的自我进化和更新逐渐增加。
基于多智能体交互的对话生成：ToolACE 利用多智能体交互的方式进行工具调用对话合成，所生成的对话涵盖了多种类型，包括简单函数调用、并行函数调用、依赖函数以及非工具使用的对话。
对话生成过程首先从构建好的 API 库中采样一个或多个候选 API，之后通过三个不同的智能体（用户、助手和工具）的互动生成对话，每个智能体都由大语言模型模拟。用户智能体主要提出请求或提供额外信息，请求的多样性和复杂性由多模式提示和基于相似性的复杂化策略来保证。助手智能体则使用给定的 API 来完成用户提出的请求。助手智能体的操作空间包括：调用 API、请求进一步信息、总结工具反馈以及提供非工具使用的回答。每个操作都通过形式化的思考过程确定，并通过自我一致性验证以确保准确性。工具智能体作为 API 执行者，处理助手提供的工具描述和输入参数，并模拟输出潜在的执行结果。所生成的对话可进一步进行格式泛化为不同的工具调用格式。
双层数据质检流程：影响大语言模型工具调用能力的一个关键因素是训练数据的准确性和可靠性。不一致或不准确的数据会阻碍模型理解和执行工具的能力。与一般问答数据不同，工具调用数据的正确性更容易验证，因为成功的工具调用必须严格符合 API 定义中指定的格式。因此，ToolACE 提出了结合规则质检和模型质检的双层数据质检流程对合成数据进行校验。规则质检保证数据严格遵循 API 定义的格式和结构要求，确保工具调用的可执行性。模型质检则进一步对规则难以处理的问题进行检查，如幻象和数据不一致性。
实验验证
数据分布：ToolACE 数据共包含了 26507 个不同的 API，来自于不同的领域。下图展示了各个领域的 API 数量分布，以及在娱乐（Entertainment）领域的二级 API 分布。
图 2. ToolACE 数据集 API 领域来源分布
此外，ToolACE 数据集中 API 的参数覆盖多个类型：字符串（string），浮点数（float），整数（int），字典（dict），数组（array）等。且数据中含有单工具调用（single）、并行多工具调用（parallel）、多轮数据（multi-turn）、工具依赖调用（dependency）和无需工具调用（non-tool）等多种可能情形，分布如下图所示。
图 3. ToolACE 数据 API 参数类型分布和工具调用形式分布
工具调用能力验证：研究团队使用 ToolACE 方案生成的数据集，对开源的 LLaMA-3.1-8B-Instruct 模型进行 LoRA 微调得到 ToolACE-8B 模型，并在加州大学伯克利分校团队发布的工具调用测试榜单 BFCL 上进行评估，在 BFCL 上击败所有模型获得榜首。
表 1. 模型在 BFCL-v2 榜单上的工具调用性能比较（榜单数据更新于 2024/08/16）。表中选择排名前 20 的模型作为比较。
通用能力验证：研究团队对训练后模型的综合通用能力进行测试，实验涵盖通用理解任务、代码生成任务、数学推理任务、尝试问答任务以及工具调用任务，结果证明 ToolACE-8B 模型在大幅提升工具调用能力的同时，相比于基座模型（LLaMA-3.1-8B-Instruct）并未明显损失其他能力，且各方面明显优于同规模开源工具调用模型 xLAM-7B-fc-r。
图 4. ToolACE-8B 模型通用能力评估
#Chai-1
近日，成立仅 6 个月的 AI 生物技术初创公司 Chai Discovery，发布用于分子结构预测的新型多模态基础模型 Chai-1，并附带了一份技术报告，比较了 Chai-1 与 AlphaFold 等模型的性能。
Chai-1 可以统一预测蛋白质、小分子、DNA、RNA、共价修饰等，在与药物发现相关的各种任务中都达到 SOTA。
公司联合创始人兼 CEO Joshua Meier 表示，Chai 的模型在测试的基准上表现更佳，成功率提升 10% 到 20%。
他说：「例如，与 AlphaFold 相比，我们的模型在药物研发中的关键任务上始终表现更好。」
而且，可通过 Web 界面免费使用 Chai-1，还可用于药物发现等商业应用。该团队还将模型权重和推理代码作为软件库发布，供非商业使用。
，时长00:24
视频：操作示例。（来源：Chai Discovery）
试用网址：https://lab.chaidiscovery.com/
了解生物分子的三维结构对于研究它们如何发挥作用和相互作用至关重要。反过来，这种理解是设计针对生命细胞机制的治疗分子的基础。
过去几年，使用深度学习方法预测蛋白质和核酸的折叠结构取得了重大进展。RoseTTAFold All-Atom 和 AlphaFold3 等方法引入了可以预测各种蛋白质和核酸结构、其共价修饰以及小分子配体与这些复合物相互作用的模型。
Chai-1 是一种用于预测分子结构的多模态基础模型，可以完成与药物发现相关的各种任务。该模型遵循 Abramson 等人的架构并进行了一些关键添加，包括语言模型嵌入和约束特征等。
虽然 Chai-1 旨在直接从原始序列和化学输入预测生物聚合物结构，但它也可以选择性地通过实验约束来提示，例如表位图谱或交联质谱实验所提供的约束，从而实现对困难结合复合物的更准确预测。
图示：Chai-1 模型架构和输入特性概述。（来源：Chai Discovery）
Chai Discovery 研究人员在大量基准测试中测试了 Chai-1。
图示：基准测试。（来源：Chai Discovery）
研究人员在 PoseBusters 基准集上评估 Chai-1，该基准集测量蛋白质-配体相互作用。结果显示，仅给定蛋白质序列和配体的化学组成，Chai-1 的配体 RMSD 成功率达到 77%，与 AlphaFold3 的 76% 相当。在 CASP15 蛋白质单体结构预测集上的 Cα LDDT 为 0.849（而 ESM3-98B 为 0.801）。
为了评估 Chai-1 的提示和条件能力，研究人员还对对接任务进行了评估。指定蛋白质的 apo 结构可将成功率提高到 81%。
该团队发现，蛋白质的全息结构可能会泄露使任务更容易的构象信息，因此他们主要将此任务视为评估模型的快速跟踪能力的一种方式。
研究人员在低同源性评估集上评估 Chai-1 对蛋白质多聚体的预测性能，发现其性能优于 AlphaFold Multimer 2.3（AF2.3），在单序列模式下也有较好表现，尤其在抗体 - 蛋白质界面预测中表现出色。
图示：对评估集界面上模型预测的置信度分数与真实结构进行评估。（来源：Chai Discovery）
蛋白单体预测方面，研究人员将 Chai-1 与 AF2.3 比较，发现 Chai - 1 在有完整 MSA 信息时优于 AF2.3，在无 MSA 信息时表现略差。
核酸结构预测方面，不依赖核酸 MSA 时，使用界面 Cα-LDDT 评估， Chai-1 在这些复合物上的表现与 RosettaFold2NA 相似。
同时，还使用 9 个 CASP15 RNA 靶标测量 C1′ 原子上的 LDDT，评估了其在 RNA 结构上的表现。同样，Chai-1 与 RoseTTAFold2NA 产生了类似的结果。
图示：Chai-1 在核酸复合物预测上的表现。（来源：Chai Discovery）
尽管 Chai-1 经过训练并且无需 MSA 即可对核酸序列进行推理，而 RoseTTAFold2NA 可以完全访问此类进化信息，但仍然取得了不错的结果。研究人员表示，未来的研究结合核酸 MSA 或核酸语言模型嵌入，可以提高其在对这些复合物进行建模时的准确性。
除了直接从序列进行前沿建模的能力外，Chai-1 还可以使用新数据（例如来自实验室的限制）进行提示，从而将性能提高 double-digit 百分点。
研究人员在技术报告中探讨了许多这样的能力，例如表位调节 - 即使使用少量接触或口袋残基（可能来自实验室实验）也可以使抗体-抗原结构预测准确度翻倍，从而使使用 AI 进行抗体工程变得更加可行。
图示：来自低同源性评估集的抗体-抗原界面的 DockQ 成功率；针对 PDB ID 7SYV 的示例预测。（来源：Chai Discovery）
该团队由来自 OpenAI、Meta FAIR 和 Google X 等领先 AI 和生物技术组织的先驱者组成，处于 AI 驱动的生物学研究的前沿。
Chai-1 的发布标志着他们彻底改变分子生物学领域的里程碑。然而，该团队已经在考虑下一代 AI 基础模型。他们的最终目标是建立能够预测和重新编程生化分子之间相互作用的模型。这一愿景可能会改变科学家处理生物研究和工程的方式，从而加速开发新的治疗方法和疗法。
虽然 Chai-1 的发布是一项重大成就，但 Chai Discovery 团队认为这只是一个开始。在接下来的几个月里，他们计划继续改进 Chai-1 并开发新的模型，来突破分子结构预测的极限。
总之，Chai-1 的发布标志着分子结构预测领域的一个里程碑。凭借其 SOTA 性能、多模态功能以及可访问性，Chai-1 有可能彻底改变药物发现和生物工程。
Chai Discovery 是一家成立仅六个月的 AI 医药开发初创公司，它宣布完成了近 3000 万美元的融资，投资方包括知名投资公司 Thrive Capital 和 OpenAI。这笔资金将用于将 AI 技术应用于药物研发过程，以期加速新药的研发。
公司联合创始人兼 CEO Joshua Meier 表示：「我们的目标是让生物学像工程一样可预测，加速药物开发进程。」
图示：Chai Discovery 团队在该公司旧金山办事处。（来源：Chai Discovery）
Chai Discovery 的总部位于旧金山，公司最近完成了种子轮融资，使 Chai 的估值达到了 1.5 亿美元。
在创立 Chai 之前，Meier 曾担任 Absci Corp. 的首席 A I官，还在 Meta 和 OpenAI 担任过研究员。
今年 3 月，他与 Jack Dent 等人共同创立了 Chai。Jack Dent 曾是 Stripe 的一名工程师，目前 Chai 的团队规模不到 10 人，但已经吸引了来自 OpenAI、谷歌和 Meta 等科技巨头的优秀人才。
Chai 联合创始人 Jack Dent 表示，公司免费提供其首个 AI 模型，当前还没有讨论将其技术商业化的计划。
Chai 投资的主导者、Thrive Capital 的合伙人 Miles Grimshaw 表示：「这个领域足够大，可以容纳所有人。在这个领域工作的一个好处是，即使是一点点的进步也是非常有利可图的。」
参考内容：
https://www.chaidiscovery.com/blog/introducing-chai-1
https://x.com/joshim5/status/1833183091776721106
https://wallstreetcn.com/articles/3727491
GitHub：https://github.com/chaidiscovery/chai-lab
技术报告：https://chaiassets.com/chai-1/paper/technical_report_v1.pdf
