华为昇腾宣布已支持 RL 训推一致性，实测获得最高 60% 性能收益

IT之家 8 月 6 日消息，强化学习已成为大模型训练主流范式，推动模型技术向行业核心场景工程化落地。其中，训推一致至关重要，因推理与训练过程耦合，基础设施差异易放大不确定性。华为计算官方 8 月 5 日宣布，昇腾基于 Ascend C 编程语言提供完整训推一致算子集，在 Qwen3-30B MoE 模型上的测试实现 Logdiff 为 0，并通过昇腾亲和的 FA 算子优化，在 Eager 模式下获得 20%-60% 性能收益，为开发者提供高效可靠的强化学习训练方案。RL 后训练训推不一致最根本的原因，是底层计算时累加不保序。若要从上到下保证训练引擎与推理引擎每一次累加顺序一致，需要框架侧与算子侧同时发力。模型参数越大，问题会进一步放大：张量并行、专家并行等切分策略，以及集合通信路径，任一环节对不齐，都无法做到最终的 true-on-policy。算子还需要覆盖多种调用场景，在关键计算步骤上施加约束，同时把性能损失控制在可用范围内 —— 这是一项系统性工程挑战。训推不一致，指的是 Rollout（推理）引擎与训练引擎之间的数值不一致性。即使两者使用完全相同的模型权重，对相同 Token 序列计算得到的对数概率（logprob）也可能存在细微差异；该差异通常用 logdiff 衡量。昇腾基于 Ascend C 编程语言对训推链路中的关键算子做了系统性约束与对齐，核心思路是：让训练与推理在「该累加的地方」走同一套数值路径，主要涉及如下 4 个修改：统一注意力语义：对齐训练掩码 Softmax 与推理逐步注意力在有效位置上的计算范围，消除因可见 Token 集合不同带来的数值差。锁定 reduce 累加序：约束训练 FA、推理 PFA / PagedAttention 在规约维度上的切分与归约顺序，避免「同模板不同切分」导致的累加不保序。对齐在线 Softmax 分块策略：统一分块大小与归约节奏，避免 decoder 侧多块合并 Softmax 与训练侧分块 Softmax 不一致。对齐关键路径精度：在 Softmax 累加等敏感步骤上统一精度转换策略，减少混合精度实现差异引入的尾数误差。在此基础上，再配合 FA 下发与调度优化，使训推一致不再以显著性能回退为代价，从而在实测中同时拿到 logdiff=0 与端到端加速。华为宣布相关基础设施已开源，还将上线“训推一致问题识别 Skill”，支持排查残余 logdiff、定位是算子路径问题还是框架实现差异。IT之家附开源地址如下：https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy