LLM RL 后训练中的 Score Centering
文章系统梳理 LLM 强化学习后训练中的多种 centering：从策略梯度的 score function 零均值性质和协方差视角解释 baseline/组均值为何只降方差、不改梯度期望，再重点分析 training-inference mismatch 下 score 均值不为零导致的 drift。作者给出 score centering 的定义、drift/signal 分解、stop-gradient loss 与 top-k 近似，并比较 RLOO、GRPO、Dr. GRPO、重要性采样及序列级/token 级 IS 的适用边界。文章还延伸到 reward model 的 Bradley-Terry 平移不变性、KL 正则目标中配分函数的组均值近似，以及 Sutton 的 reward centering。结论是 off-policy 或截断 IS 且 token 级更新时，组均值不足以消除 drift，score centering 可无额外方差地修正；但部分推导与玩具实验为作者补充，落地前仍需核对原论文和真实训练细节。
推荐收录：文章用统一的协方差框架串起 baseline、RLOO/GRPO、score centering、RM centering、KL 配分函数与 Sutton reward centering，并给出 drift/signal 分解、loss 构造和 top-k 开销等可落地细节。适合研究 RLHF/RLVR 后训练、训练推理不一致和 off-policy 校正的读者，也可迁移到方差缩减与重要性采样设计。风险是数学密度高，部分推导和玩具实验为作者补充，需结合原论文复核。