AI News

Anthropic 研究:Agent 记忆需后台整理与检索互补

邵猛更新于 11月7日 10:22

Anthropic 最新研究:Agent 的记忆不是越多越好,Anthropic 如何把记录整理成可用经验

AI 导读

Anthropic 团队分享关于 Agent 记忆的研究,指出记忆不只是保存历史,还要回查证据、纠正笔记、整理经验并按需检索,后台整理被称作 dreaming。在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,单靠搜索的评分标准覆盖率为 53%,知识库结合搜索随整理轮次从 54% 提升到 61%,每题少用约 2 万 token,但节省的 token 未扣除后台建库成本。另一合同案例中,改为每份合同单独一页、一个代理负责并逐字引用条款后,关键事实覆盖从 41/57 提升到 57/57。

推荐理由

AI 评分 60

原文给出整理与检索互补的实验数据,并指出后台建库成本未被扣除,读者可据此判断记忆方案的实际收益边界。

主题

标签

引用

Anthropic

@AnthropicAI

记忆是让 Claude 从经验中学习的关键。在一篇新的工程博客文章中,我们分享了“做梦”如何帮助 Claude 整理所学内容、纠正错误,并在下次更轻松地找到所需信息。https://t.co/uUEN4bNkr9

查看原文

Memory is what allows Claude to learn from experience. In a new Engineering Blog post, we share how “dreaming” helps Claude organize what it’s learned, correct its mistakes, and find what it needs more easily the next time. https://t.co/uUEN4bNkr9

查看原帖

正文

Anthropic 最新研究:Agent 的记忆不是越多越好,Anthropic 如何把记录整理成可用经验

来自 Anthropic 团队 @RLanceMartin 分享,通过多组实验说明:Agent 需要的不只是保存历史,还要回查证据、纠正笔记、整理经验,并在需要时找到它们。后台整理能够改善部分任务,但不是检索的替代品,也未必总能抵消维护成本。

https://t.co/H1FFfA8rkh

# 记忆不等于聊天记录

这里的记忆是跨会话保存、以后可以读取的上下文,不涉及更新模型权重,也不只是压缩当前对话。

文章讨论了几个配合使用的环节:保留原始记录供追溯;执行任务时写下目标、计划和已验证的经验;后台回看记录,纠错、去重、补链接,必要时建立知识库;读取时只提前加载少量重要内容,其余按需检索。

作者把后台整理称为 dreaming。它并不是让模型“睡觉”,而是把整理经验与眼前任务分开,给模型专门的时间处理已有信息。

# 好记忆要保存什么

在 CL-Bench 数据库任务中,每道题开启新会话,只有记忆目录保留。模型作答后会收到正确答案,再整理经验。较强模型开始保存经过验证的规则和依据,而不只是记录错题;限定“只记失败”,反而削弱了收益。

这说明有价值的记忆不只是“上次做错了什么”,还包括什么规则成立、为什么可信、以后何时适用。能随时重新读取的状态,则不必反复抄进笔记。

# 实验显示:整理与搜索互补

在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,单靠搜索的评分标准覆盖率为 53%;知识库结合搜索,随着整理轮次增加,从 54% 提升到 61%,每题少用约 2 万 token。

这里的 61% 不是“答对了 61% 的问题”,节省的 token 也没有扣除后台建库成本。跨文档整合任务收益更明显,部分以单文件检索为主的任务则没有改善,知识库甚至比原文更大。

另一个合同案例中,多代理共写一张表导致覆盖。改成每份合同单独一页、一个代理负责,并逐字引用条款后,最终报告的关键事实覆盖从 41/57 提升到 57/57。改善来自组织和写入规则,不只是增加思考时间。

来源

邵猛