暂时无法在飞书文档外展示此内容 Toy实验现象 问题引出 Grpo的loss函数中token-level的重要性采样的ratio会导致较大的训练梯度noise 在长序列的情况下，clip的机制会加一步累积noise的方差 token-level的IS ratio方差大，不稳定 方法设计 Sequen ...
近期，阿里通义千问团队创新性提出了 GSPO 算法，PAI-ChatLearn 框架第一时间支持并复现了GSPO的强化学习训练过程，本文将介绍在 PAI 平台复现 GSPO 的最佳实践。
首先看一下KL的基础公式 KL KL1: 大模型的KL一般是反向的： \[KL(\pi_\theta||\pi_{ref}) = E_{x\sim\pi_\theta(\cdot|o_{<t})}log\frac{\pi_\theta(x|o_{<t})}{\pi_{ref}(x|o_{<t})} ...
这是7月份的一篇论文，Qwen团队提出的群组序列策略优化算法及其在大规模语言模型强化学习训练中的技术突破
