Aravind Srinivas分享与NVIDIA合作的JOLT后训练研究
Aravind Srinivas 分享了 Perplexity 与 NVIDIA 合作提出的后训练方法 JOLT。该方法让同一模型同时充当教师和学生,并训练教师从自身尝试的奖励中学习,同时惩罚偏离学生行为的漂移。在 MATH 基准上,JOLT 以 6.5 倍更少的训练 token 达到与 GRPO 相当的准确率;JOLT+ 额外给学生模型提供基于结果的奖励,在数学、编程、终端任务和工具使用基准上明显超过 GRPO。目前该研究由 Aravind Srinivas 对外分享,尚无更多后续进展。
匹配字段标题