微软与香港城大提出Taste-Bench评测智能体决策
微软与香港城市大学的研究者构建了Taste-Bench,用于评测AI智能体在长任务中的长期决策能力。该基准包含502道二选一题目。据The Decoder报道,表现最好的GPT-5.6 Sol平均准确率仅59.7%,GPT-5.5为59.5%。当关键线索要到后续大量工作后才显现时,所有模型平均准确率降到21%,接近随机猜测,增加推理预算也几乎没有改善。研究者还以Qwen3.6-27B为基座蒸馏教师模型的判断,学生在未见任务上的准确率从30%升到47.9%,在41个SWE-bench Pro任务上把成功率从14.6%提升到33.7%。
匹配字段摘要