斯坦福 CS 329Z 第 9 讲梳理 Agent 系统优化方法选型
斯坦福 CS 329Z 课程第 9 讲给出 Agent 系统优化的选型图:优化前提是数据、系统、评估指标三者齐备,一般先做上下文优化(prompt 与 few-shots),因为便宜、快、省样本;当上下文优化不够用、想把能力蒸馏到小模型或 prompt 越写越长时再改权重。讲义还梳理了 OPRO、MIPROv2、TextGrad、GEPA 等反思式 prompt 优化方法,SFT、RL(PPO 与 GRPO 对比)、on-policy 蒸馏等权重优化路径,以及 Darwin Gödel Machine、Meta-Harness、karpathy 的 autoresearch 等让 agent 自我优化的做法,并指出 agent 已是不错的优化器,评估指标成为最需要把控的环节。
step”是 71.8%。说明措辞的细微差别就会带来明显的效果差距,靠人手调很难找到最优。 上下文优化 1. 少样本示例优化 · 示例的排序会影响结果(Lu et al. 2022)。用探测集上的熵来选排序,可以接近穷举所有排序后的最优效果。 · 自举推理:STaR 用拒绝采样挖出正确的推理过程;DSPy 不需要微调,直接保留指标得分高的推理轨迹当示例,再搜索最佳组合。这种方式有时比人工写的推理或标准答案还好。 2. 反思式优化 · OPRO:把历史 prompt 和对应得分给 LLM 看,让它写出新的 prompt。“Take a deep breath”就是这样被找到的。 · MIPROv2 分三步:先自举出示例;再结合程序结构、数据特征、成功轨迹和写作技巧,生成多条候选指令;最后用贝叶斯代理模型在小批量数据上搜索“指令 + 示例”的最优组合。 · TextGrad:让 LLM 对输出提出改进意见,像梯度一样沿系统里的各个 prompt 反向传递。 · GEPA:基于反思做 prompt 进化,并保留帕累托前沿上的候选。讲义的结论是它在多个任务上优于基线,而且比 RL 省样本得多
匹配字段正文