清华与微软论文提出 HarnessMM，DeepSeek Harness 在 HumanEval 上…
New Tsinghua and Microsoft paper finds that DeepSeek Harness used 87.93% fewer tokens than its original version on 98 HumanEval tasks while success rose from 71
清华与微软的新论文提出 HarnessMM，让模型预先写出后续命令及对应检查条件，工具结果通过检查时直接执行命令、跳过 LLM 调用。在 98 个 HumanEval 任务上，DeepSeek Harness 的 token 用量比原版减少 87.93%，成功率从 71.43% 升至 85.71%；Codex 保持 90.82% 的成功率，token 用量比普通 Codex 减少 29.54%。
推荐理由
AI 评分 54
论文给出 HarnessMM 在 HumanEval 上的 token 节省与成功率变化，可了解智能体跳过冗余 LLM 调用的做法。
主题
正文 · AI 翻译
清华与微软的新论文发现，在98个HumanEval任务上，DeepSeek Harness使用的token比其原始版本减少了87.93%，而成功率从71.43%升至85.71%。
像Codex和DeepSeek Harness这样的智能体工具会在每次工具返回结果后调用LLM来选择下一步。通常这一步早已确定，比如代码编译通过后就运行测试。
HarnessMM让模型预先写出带有精确参数的后续命令，并为每条命令附带一个检查条件，例如构建成功。当工具结果通过检查时，智能体便直接执行该命令，跳过LLM调用。
在98个HumanEval任务上，Codex保持了90.82%的成功率，同时使用的token比普通Codex减少了29.54%。DeepSeek Harness的成功率从71.43%升至85.71%，使用的token比原始版本减少了87.93%。
如果你的智能体运行的是诸如编写、构建、测试这类可预测的链条，就让模型一次性规划好这些步骤并附带通过检查，而不是每一步都重新询问。