Gemini 4 Argon 能把视频变成三维仿真场景,XR 的空间计算会变天吗?
Google 于 10 月 14 日凌晨发布 Gemini 4 Argon,其 Real2Sim 技术可结合机器人摄像头画面与人类第一人称操作视频,重建包含物体几何结构、空间关系及物理属性的三维仿真环境,并借助 MuJoCo 模拟物体运动与交互。该模型在具身推理基准 ERQA 上取得 87% 的成绩,演示中通过迭代式视频世界模型引导灵巧手完成 33 步连续操作拼出 ARGON 字样。文章指出,这项技术目前主要面向机器人及物理 AI 研究,尚未直接应用于 XR 设备,但为 XR 降低对复杂传感器的依赖、走向轻量化提供了思路。
。 这种局限也让虚实融合在很大程度上依赖开发者对场景的预先设计。虚拟物体可以按照设定的规则与现实空间互动,但要面对千差万别的真实环境,自动理解物体属性并生成合理的物理反馈,仍然有很长的路要走。随着多模态AI向三维空间推理和物理理解延伸,这一问题开始出现新的解决思路。 二、Google让AI重建物理世界,虚实融合迎来新变量 近年来,AI与XR的结合已经从传统的语音问答,逐渐向结合现实环境的智能交互发展。 早在2024年,Google Research提出XR-Objects研究原型,结合物体识别与多模态大模型,让用户能够直接围绕现实物体获取信息或生成虚拟内容。今年1月,Meta进一步推出MR语言学习应用Spatial Lingo,通过Quest识别并定位现实物体,再利用Llama模型生成对应的语言学习内容。 Meta Spatial Lingo技术架构 图源:Meta Developers Google最新发布的Gemini 4 Argon进一步展示了AI的空间理解与物理推理能力。该模型在具身推理(ERQA)基准测试中取得87%的成绩,并通过Real2Sim技术,将第一人称视频等视觉信息
匹配字段正文