←新闻详情

cnBeta更新于 11月4日 15:41

Anthropic 工程师 Osmani 警告 AI 越强人类越易陷入认知投降

Anthropic工程师警告:AI越强,人类越容易陷入“认知投降”

AI 导读

曾在 Google 工作 14 年、现于 Anthropic 从事 Claude Code 相关工作的 Osmani 提出,AI 输出越少明显错误,人越容易跳过验证,并把人类使用 AI 的状态分为认知卸载、推迟判断和认知投降三层。他建议在向 AI 提复杂问题前先形成自己的初步假设,并要求 Agent 列出执行中自主作出的决定、假设和忽略的条件。他还提出编排税概念,指 AI 生成成果的速度与人类能认真审核并负责的速度之间的差距,认为此时应改进自动验证机制或降低任务生成速度。

推荐理由

AI 评分 53

Anthropic 工程师把 AI 使用分成认知卸载、推迟判断、认知投降三层,并给出可操作的防范建议。

主题

标签

正文

Osmani曾在Google工作超过14年,负责过Chrome开发者体验及Google云AI相关业务,目前在Anthropic从事Claude Code相关工作。

Osmani表示,自己是AI智能体工作流的坚定支持者,日常工作中经常同时运行多个Agent。但他发现一个值得警惕的变化:随着AI模型不断进步,输出结果中的明显错误越来越少,人类反而更难保持警惕。

过去,人们通常需要经历信息收集、分析、判断等过程才能得到答案,而现在,这一过程可能被压缩到几秒钟。AI生成的内容往往结构完整、表达流畅,而且大部分情况下是正确的,这使得用户越来越容易跳过独立思考和验证环节。

他将人类使用AI的状态划分为三个层次:首先是“认知卸载”(Cognitive Offloading),即将任务交给AI完成,但仍然对结果负责;其次是“推迟判断”(Deferral),即不再将AI输出视为需要验证的假设,而是直接作为下一步工作的依据;最后是“认知投降”,即AI的输出逐渐变成用户自己的判断,用户甚至不再认为有必要检查。

其中,“认知投降”这一概念最早由沃顿商学院研究人员Steven Shaw和Gideon Nave提出。

Osmani认为,这种转变往往不是突然发生的,而是在不断使用AI的过程中逐渐形成。用户可能认真阅读第一份AI报告,对第二份只进行快速浏览,到了第三份甚至只检查大纲。最终,当有人询问某个具体结论时,用户可能发现自己根本无法解释其中的逻辑。

他将这一现象与“认知债务”(Cognitive Debt)联系起来。在软件开发领域,AI可以生成大量代码,测试也可能全部通过,但团队成员对系统架构和实现逻辑的理解却在不断减少。直到某天需要修改系统时,开发者才发现已经没有人真正理解某些功能的工作原理。

不过,Osmani并不认为开发者需要记住庞大代码库的全部细节。他指出,Claude Code团队也会在需要时借助AI重新建立对特定代码模块的理解。真正重要的不是始终掌握所有知识,而是知道自己不了解什么,并且具备重新理解它的能力。

对于如何避免“认知投降”,Osmani建议,在向AI提出复杂问题前,人类应该先形成自己的初步假设,而不是完全依赖AI提供答案。即使最初的猜测并不准确,也可以帮助用户在接收AI结果时保留独立判断的基础。

在软件开发领域,Osmani认为,AI时代的瓶颈正在从编写代码转向验证代码是否正确。

目前,AI智能体已经可以自主编写代码、运行测试、读取错误信息并反复修改,直到测试通过。但问题在于,测试本身也可能由AI编写。如果测试逻辑与代码存在相同错误,即使所有测试显示通过,也无法证明软件不存在问题。

因此,他强调,开发者不仅应该关注测试是否通过,还需要明确测试究竟证明了什么、没有覆盖哪些风险。对于AI交付的成果,验收标准应该是实际测试结果、运行日志、截图等可以验证的证据,而不是AI生成的一段看起来合理的总结。

Osmani还提出,开发者应该要求Agent明确列出它在执行任务过程中自主作出的决定、采用的假设以及忽略的条件,因为这些内容通常不会出现在最终的工作总结中。

随着AI能够同时执行越来越多任务,另一个问题也开始出现。Osmani将其称为“编排税”(Orchestration Tax),即AI生成成果的速度与人类能够认真审核、并愿意为其负责的速度之间的差距。

当AI生成的工作成果不断堆积,而人类已经没有足够时间审核时,继续增加Agent数量并不能解决问题。他认为,这种情况下,团队应该改进自动验证机制,或者适当降低任务生成速度。

Osmani同时警告,AI的高度自动化可能使人类逐渐放弃练习原有技能。他建议开发者每周尝试在不使用AI的情况下编写一些代码,每个月重新审视自己已经停止练习的技能,并判断哪些能力仍然值得保留。

他还引用Anthropic关于内部工程师和研究人员使用AI的研究,指出其中存在一种“监督悖论”:监督Claude需要具备编程能力,但过度使用AI又可能使这些能力退化。

Osmani强调,这些观点并不意味着应该减少AI的使用。在错误成本较低的任务中,完全交由AI完成没有问题,但涉及投资、职业选择、产品安全或影响其他人的重大决定时,人类仍应保留关键判断权。

在他看来,未来的AI模型可能比人类更擅长发现错误,但这并不能消除人类的责任。决定开发什么产品、为什么值得开发、会影响哪些人,以及愿意为此承担何种代价,仍然需要人类作出选择。

来源

cnBeta