Google 联合斯坦福、牛津推出 StreamVibe 视频智能体，教 AI 判断何时主动开口帮忙

由谷歌领导的研究团队推出了 StreamVibe，这是一款旨在自行决定何时开口发言的视频智能体。测试结果首先表明，这对当今的 AI 模型而言仍然十分困难。

来自谷歌、斯坦福、牛津以及多所美国大学的研究人员正在研发一款助手，它能观看你做饭或组装家具，并且只在需要时开口。借助 StreamVibe，他们打造了一款视频智能体，旨在理解诸如“如果我遇到任何困难，请帮帮我”这类模糊请求。

根据论文，现有的视频助手是为“水开了就告诉我”这类明确指令而构建的，因此它们很少能捕捉到未言明的意图。它们也很难追踪已经完成的事项，这导致它们重复建议或响应过晚；而当用户中途改变请求时，这些助手往往会固守最初的指令。

构建更贴心助手的三个模块

为了衡量这一问题，团队编制了一个基准测试，包含约4,100个示例，来自超过183小时的日常生活和软件录制内容。Gemini 2.5 Flash 会建议何时提供帮助以及该说什么，而四名人类评估者必须一致批准每个示例。该测试涵盖三个阶段，包括明确指令、模糊目标以及随时间变化的请求。在一个示例中，一名正在拆解玩具挖掘机的用户要求提供进度更新，然后在三分钟后转而要求进行质量检查。

随后，研究人员在此基础上训练了 StreamVibe-VL，这是一个显然基于阿里巴巴 Qwen3.5-9B 的模型，它每秒都会决定是保持沉默还是开口说话。第二个训练阶段使用强化学习，让模型更加克制，以免它不断打断别人。一个独立的记忆系统会追踪哪些请求尚未处理、哪些步骤已经完成，不过是否开口以及说什么，仍由模型自行决定。

所有受测模型在连续运行中都会跟丢对话

据研究人员称，StreamVibe-VL 的响应时机和质量比其他模型提升了 10.7%，而记忆系统旨在将主动交互再提升 12.3%，并减少不必要的打断等。

StreamVibe-VL 在大多数情况下大幅优于其基础模型和其他开源模型，不过谷歌专有的 Gemini 3.8 Flash 在多项测试中得分更高。根据论文，这种专门训练并不会损害通用视频理解能力。

当模型只需在特定时刻判断某个提示是否合适时，它们往往能做出正确决定。但当模型处理整段视频并需要基于自己先前的回答继续推进时，所有受测系统的表现都会因错误累积而急剧下降，而且根据系统自身的历史记录，回答的一项关键内容指标最多下降 61.5%。在超过五分钟的视频中，模型很少能找准合适的时机，并且尤其难以在长时间跨度内跟踪已发生变化的指令。

在论文和项目页面记录的一个将照片转换为黑白的 GIMP 教程中，对比模型 JoyAI 表示成品图像已经保存，尽管用户尚未打开它，而 StreamVibe-VL 则在正确的时机给出下一步，例如“Colors”然后“Desaturate”。在一份制作果酱卷吐司的分步指南中，其他模型只是描述屏幕上正在发生的事情，例如面包被压平，而 StreamVibe-VL 则建议先切掉面包边。

研究人员承认，现实世界的情况可能比他们的测试设置更复杂，未来的工作将研究用户偏好和环境如何随时间相互影响。

谷歌一段时间以来一直在研发能够主动分析视频的 AI 系统。今年 9 月，谷歌为 Gemini 推出了基于智能体的视频分析功能，由模型自行决定哪些场景需要更仔细地查看。最近，谷歌还通过 Gemini 4 Argon 展示了 AI 如何追踪机器人视频中较长的动作序列并发现错误。StreamVibe 的助手旨在理解任意时刻正在发生的事情，并识别出何时才真正需要它的帮助。

在 ProactiveBench 基准测试中，当视觉信息缺失时，AI 模型往往靠猜测或拒绝回答，而不是提出具体问题。另一项视频理解基准测试则揭示了模型在空间和时间推理方面的重大缺陷。而对于自主 AI 智能体来说，对话本身反而可能损害性能，微软研究人员已经证明了这一点。