GSPO & Routing Replay
GSPO & Routing Replay
强化学习（RL）中用于大模型（尤其是MoE架构）的策略优化算法演进：GRPO → Routing Replay → GSPO。我们来系统梳理一下：
🧩 背景：GRPO 在 MoE 下的问题
什么是 GRPO？
GRPO（Generalized Reward Policy Optimization） 是一种广义的策略优化方法，旨在通过广义优势估计和策略梯度提升训练稳定性与样本效率，常用于语言模型的 RLHF（Reinforcement Learning from Human Feedback）阶段。
什么是 MoE？
MoE（Mixture of Experts） 是一种模型架构，通过“路由机制”动态选择部分专家（子网络）处理每个 token，从而在不显著增加计算量的前提下扩展模型容量。
GRPO 在 MoE 下的问题：
-
新旧策略的差异
新旧策略可能会激活不同的专家，产生结构性偏差，带来噪声。
当从 πθold 更新到 πθ 时，很有可能出现 Router 发生变化，导致新旧策略激活了不同的专家。
例如：
- 在 πθold 下，Router 激活了【专家 A】和【专家 B】
- 在 πθ 下，Router 激活了【专家 C】和【专家 D】
虽然模型参数只更新了一步，但实际参与计算的专家组合完全不同。所以这两个概率根本不是在同一个“结构”下产生的。
理想中的重要性比率应该反映同一个模型结构下，参数变化导致的输出概率变化。但现在它还包含了完全不同的专家组合导致输出的变化。
这不是策略变化的真实反映，这种波动具有高方差、不可预测、与优化方向无关的噪声。
-
Clip 也无法完全控制这种结构性偏差
πθ 和 πθold 实际上像是两个不同的模型，重要性比率的方差急剧上升，甚至趋于无穷。
不同的路由可能会导致 πθ 骤变，导致 clip 没有任何更新。梯度估计严重失真，训练不稳定甚至崩溃。
✅ Routing Replay：缓解专家冷启动 & 梯度稀疏
核心思想：
“重放”历史中激活较少的专家的路由决策，强制其参与训练，即使当前 batch 中未被选中。
实现方式：
- 在训练过程中，维护一个“路由历史缓冲区”，记录每个 token 被分配到哪些专家。
- 对于低频专家，从历史 buffer 中采样其曾被激活的样本，在当前 batch 中“重放”这些样本，强制计算其梯度并更新。
- 可配合重要性采样（Importance Sampling）修正策略偏移。
解决的问题：
- 缓解专家冷启动 → 所有专家都能持续更新。
- 降低梯度稀疏性 → 提高策略梯度估计的稳定性。
- 改善负载均衡 → 避免某些专家“饿死”。
局限性：
- 历史样本可能与当前策略不匹配 → 需要重要性加权，否则引入偏差。
- 增加内存和计算开销（需维护和采样历史 buffer）。
- 未从根本上解决“优势分配不公”的问题。
✅ GSPO（Generalized Sparse Policy Optimization）：系统性解决 MoE-RL 问题
GSPO 是在 GRPO 基础上，专门为稀疏架构（如 MoE）设计的策略优化框架，从策略梯度公式、优势分配、路由正则化三个层面重构优化目标。
核心创新点：
1. 稀疏感知的优势分配（Sparse-Aware Advantage Redistribution）
- 不再将优势值（A_t）直接作用于所有专家，而是仅分配给当前激活的专家。
- 对未激活专家，使用“虚拟优势”或“路由置信度加权优势”，避免错误更新。
例如：
A_expert = A_t * routing_prob(expert | token)
即使 expert 未被选中，若其路由概率 > 0，仍获得部分优势信号。
2. 路由正则化（Routing Regularization）
- 引入路由熵最大化或负载均衡损失，鼓励路由策略探索不同专家。
- 防止路由“坍缩”到少数专家，提高专家利用率。
3. 专家级策略梯度裁剪与归一化
- 对每个专家单独进行梯度裁剪和优势归一化，避免因激活频率不同导致的梯度尺度差异。
- 例如：每个专家维护自己的 advantage running mean/std。
4. 结合 Routing Replay（可选增强）
- GSPO 可内嵌 Routing Replay 作为子模块，进一步缓解冷启动。
解决的问题：
✅ 梯度稀疏 → 通过稀疏感知优势分配 + 专家独立归一化
✅ 负载不均衡 → 路由正则化 + 路由熵鼓励探索
✅ 优势分配不公 → 仅更新激活专家 + 概率加权
✅ 策略偏移 → 专家级归一化 + 重要性采样（如使用）
📊 对比总结：
| 方法 | 核心机制 | 解决 GRPO 在 MoE 的哪些问题 | 局限性 |
|---|---|---|---|
| GRPO | 通用策略梯度 + 优势估计 | 无，原生不兼容 MoE | 梯度稀疏、负载不均、优势误分配 |
| Routing Replay | 重放冷门专家历史样本 | 缓解梯度稀疏、冷启动 | 历史偏差、额外开销 |
| GSPO | 稀疏感知优势 + 路由正则 + 专家归一化 | 系统性解决稀疏、负载、优势分配问题 | 实现复杂，需专家级统计 |
🚀 实际应用建议：
- 如果你正在 MoE + RLHF 场景下训练大模型（如 Mixtral + DPO/RLHF），优先考虑 GSPO。
- 若实现复杂，可先用 Routing Replay 作为轻量级补丁 缓解冷启动。
- 结合 路由负载均衡损失（如 Switch Transformer 中的 auxiliary loss）进一步稳定训练。
📚 参考文献/来源（部分为前沿工作，尚未完全公开）：
- DeepSeek-V2 / Mixtral RLHF 技术报告（提及 GSPO）
- Google “Sparse RL” 内部技术分享（2024）
- OpenAI “MoE for RL” 非正式讨论（社区流传）
- 相关论文：“Efficient RL for Sparse Models” (ICLR Workshop 2024)
✅ 总结一句话：
Routing Replay 通过“重放”缓解专家冷启动，GSPO 通过“稀疏感知策略优化 + 路由正则”系统性重构 RL 目标，二者协同解决 GRPO 在 MoE 架构下的梯度稀疏、负载不均与优势误分配问题。
如果你有具体实现细节或想看伪代码，我也可以进一步展开 👍
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Roger-Lv's space！
相关推荐
2025-08-21
一行代码，解锁SFT泛化能力:深度解读DFT如何完胜传统微调
一行代码，解锁SFT泛化能力：深度解读DFT如何完胜传统微调 转自：https://mp.weixin.qq.com/s/XXGxRk-p5LahtqdYNnbKaA 在大型语言模型 (LLM) 的世界里，如何让模型更好地理解并遵循人类的指令，即所谓的“对齐”，始终是核心议题。目前，主流的技术路线分为两条：监督微调（Supervised Fine-Tuning, SFT）和基于人类反馈的强化学习 （Reinforcement Learning from Human Feedback, RLHF）。 SFT 简单直接，就像教一个学生做题，直接给他看大量的“问题-标准答案”对，让他去模仿。 这种方法易于实现，能让模型快速学会特定任务的“套路”。然而，它的弊病也十分明显——模型容易“死记硬背”，学到的知识很“脆”，泛化能力差，遇到没见过的题型就可能“翻车”。 相比之下，RLHF 更像是请一位教练来指导学生。它不直接给出答案，而是对模型的不同回答给出评分（奖励），让模型在不断的尝试和反馈中，自己探索出更好的策略。但它的问题在于，训练过程极其复杂，需要耗费大量的计算资源，对超参数敏感，且依...
2025-08-21
SFT专攻Pass@k，RL强化Pass@1?
深挖RLVR探索机制：SFT专攻Pass@k，RL强化Pass@1 转自：https://mp.weixin.qq.com/s/QSi580SJ2RFewyFirAe65A 先前的工作已经证明了 RLVR 在实践中的成功，但其背后的根本机制，特别是模型在训练过程中的探索行为，仍有待深入研究。来自中国人民大学高瓴人工智能学院的研究者们发表了一篇题为《From Trial-and-Error to Improvement: A Systematic Analysis of LLM Exploration Mechanisms in RLVR》的技术报告，系统性地研究了RLVR 中的探索机制。 论文题目：From Trial-and-Error to Improvement: A Systematic Analysis of LLM Exploration Mechanisms in RLVR 论文链接：https://arxiv.org/pdf/2508.07534 这篇报告结合了详尽的文献回顾和创新的实证分析，围绕探索空间塑造、熵与性能的相互作用以及强化学习性能优化这三个维度...
2025-08-21
Agentic RL
转自：https://zhuanlan.zhihu.com/p/1913905349284591240 通过蒙特卡洛树搜索、过程监督与结果监督、强化学习来提高 LLM 的推理能力，从本质上来说，都是尽可能榨取 LLM 本身的能力，区别可能在于多次尝试、反馈信号、训练方法而已，这类方法可称之为“求诸内”。而由 scaling law 可知，模型的能力是有限的，那么该如何进一步提高LLM在具体问题上的表现呢？近期的答案是，类似 RAG，Multi-Agent 系统，让 LLM 学会使用工具，毕竟人与动物的关键区别也只是“能制造并使用工具”，这种方式则是“求诸外”。那么本篇就以此为中心，重点讨论以下问题： Agentic LLM 的算法逻辑、具体方法与实际表现？ RL 如何训练 Agentic LLM，其与 tool using 的 SFT 的差异在哪？ Agentic RL 的工程化问题 一、Agentic RL 的算法设计 Agent 和 RL 都并非新鲜事物，而使用 RL 训练基于 LLM 的 agent 则是近期的研究的热点，那么，从算法角度来说，如何理解二者结合的动机、场...
2025-08-21
使用 Flowise 构建基于私有知识库的智能客服 Agent(图文教程)
使用 Flowise 构建基于私有知识库的智能客服 Agent（图文教程） https://blog.csdn.net/hejiahao_/article/details/147902607?fromshare=blogdetail&sharetype=blogdetail&sharerId=147902607&sharerefer=PC&sharesource=a1150568956&sharefrom=from_link
2025-09-11
Routine:A Structural Planning Framework for LLM Agent System in Enterprise
Routine:A Structural Planning Framework for LLM Agent System in Enterprise 这篇论文的核心价值在于，它没有停留在“让大模型自己想”的层面，而是创造性地提供了一个“剧本”，从根本上解决了企业级Agent落地难的痛点。 我们将从问题根源、解决方案（Routine框架）、系统架构、训练方法、实验结果、核心洞见六个维度，层层递进地进行深度剖析。 PS:在附录提供了prompt、routin的格式、多步工具调用的例子 一、 问题根源：为什么企业级Agent总是“掉链子”？ 论文开篇就犀利地指出了当前LLM Agent在企业环境中失败的三大根本原因： “无知” (Lack of Domain-Specific Process Knowledge)： 通用大模型（如GPT-4）是“通才”，但不是“专才”。它不了解企业内部错综复杂的业务流程。 后果：模型在规划时会遗漏关键步骤。论文特别指出，最容易被忽略的是权限验证（permission verification）和模型生成（model generation）这类工...
2024-08-06
医疗垂直领域大模型WiNGPT2的部署和性能对比
医疗垂直领域大模型WiNGPT2的部署和性能对比 WiNGPT2部署和运行 123456git clone https://github.com/winninghealth/WiNGPT2.gitcd WiNGPT2mkdir winninghealthcd winninghealthgit clone https://hf-mirror.com/winninghealth/WiNGPT2-7B-Chatcd .. 若没有以下这三个库，则安装gradio、tiktoken、pip install einops flash_attn 123pip install gradiopip install tiktokenpip install einops flash_attn 选一个目录作为cache（前提是这个目录已经存在且有权限读写） 12# 遇到报错 [Errno 13] Permission denied: '/data/.cache/huggingface/modules/transformers_modules/WiNGPT2-7B-Chat'expor...
评论
