写给 LLM 读者的强化学习术语：一个分数如何分到每个 token
文章以 DeepSeek-R1-Zero 在 AIME 2024 上 pass@1 从 15.6% 升到 71.0% 为例，说明规则 judge 只给整段回答一个分数，而训练要调整每个 token 的概率。作者用 Is OpenAI open? 的采样例子依次解释 policy、state、action、reward、return、value、Q、advantage、baseline、TD error、GAE、clipping 和 KL，并指出 PPO 用 critic 学习 V、GRPO 用组内平均分代替 V。
eline，来估计每个回答的 advantage；baseline 通常取 V。图中五个 open 回答的分数是 3、1、2、1、3，R − V 分别是 −1.3、−3.3、−2.3、−3.3、−1.3，平均为 −2.3，正好等于 Q − V。 例子里 judge 的分数都是正的。如果从 0 算起，每个采样回答都会被往上推，open 也不例外。它只是被推得比其他回答少，正确的方向要等大量样本相互抵消后才能显现。从 V 算起，每个样本本身就指向正确的方向：低于平均的回答往下压，高于平均的回答往上推。 只要 baseline 与采到哪个 token 无关，减去它就不会改变平均的更新，改变的只是噪声。在这个例子的模拟中，以 0 为 baseline 和以 V 为 baseline，平均更新完全相同；以 V 为 baseline 时，方差约为前者的五分之一。 baseline 改变的是更新的噪声，更新的方向保持不变。 GRPO 的组内平均分和 PPO 的 critic，都是这个意义上的 baseline。 credit assignment：TD error 与 GAE 前面的 advanta
匹配字段正文