NVIDIA 在 CoRL 发布 GR00T 2 机器人模型
NVIDIA Introduces GR00T 2 for Robots Learning From Human Video
NVIDIA 于 11 月 9 日在 CoRL 发布 GR00T 2，这是一个基于 Cosmos-Predict2.5-2B 的 2B 参数 Transformer，结合相机画面、机器人状态和文字指令预测未来视图与动作序列，在 50 个目标机器人训练数据中不存在的任务上报告 40% 零样本成功率。预训练使用 402,730 小时第一人称人类视频、10,184 小时手持夹爪演示和 23,500 小时机器人遥操作数据，并以 CC BY 4.0 开放 100,000 小时人类数据 Human-1M-100K。NVIDIA 称代码将于 12 月开放，白皮书同时说明五示教 95% 成功率所评测的任务是按至少 80% 成功率筛选出来的。
正文 · AI 翻译
NVIDIA于2026年11月9日在奥斯汀举行的机器人学习会议（CoRL）上发布了GR00T 2，并报告称，对于一个部分使用人类视频训练的模型，在目标机器人训练数据中不存在的50项任务上，零样本成功率达到40%。
GR00T 2使用基于Cosmos-Predict2.5-2B构建的20亿参数Transformer。它结合近期相机画面、机器人状态和文字指令，生成预期的未来视图和下一动作序列。一个预训练检查点即可覆盖平行夹爪机械臂、灵巧手和人形机器人。尽管NVIDIA将该模型作为开放模型推出，但其研究页面称代码将于12月提供。
预训练结合了402,730小时第一人称人类视频、覆盖2,897项任务的10,184小时手持夹爪演示，以及23,500小时机器人遥操作数据。Human-1M-100K发布以CC BY 4.0许可证开放其中100,000小时的人类数据，包括视频、语言标注以及头部和手部运动数据，该许可证允许商业和非商业使用。
跨本体测试展示了技能如何在不同的身体之间迁移，并利用有限的机器人数据进行适应。NVIDIA报告称，在没有任务特定遥操作的情况下，从人类演示中学习到的滤纸安装任务成功率为65%；而从手持夹爪迁移到YAM机械臂的玩具自卸卡车组装任务成功率为60%。在Dexter评估中，GR00T 2在40项任务上至少完成了一次试验。每项任务仅需一次演示时，平均成功率达到71%；五次演示时达到95%；这五次演示提供的机器人数据每项任务不足三分钟，随后在一张RTX 5090上进行约30分钟的适配器微调。
技术白皮书对五示教结果作出了限定：所评估的任务是从模型能够以至少80%的成功率通过五个回合学会的任务中挑选出来的，因此该平均值部分是由构造方式造成的偏高。
仿真训练转向精度
仿真基础是Isaac Lab 3.0，该版本自2026年10月20日起正式可用。它在物理、渲染和可视化后端之间提供统一的任务API；Newton支持刚体、可变形体和粒子，许多工作流无需完整安装Isaac Sim即可运行。在一项基于视觉的灵巧操作基准测试中，NVIDIA报告称，当Isaac Lab 3.0与Newton配合运行时，其训练吞吐量最高可达使用PhysX的Isaac Lab 2.3的2.5倍。
AlphaNIST将大规模仿真练习应用于20项NIST装配任务板任务，其中包括小至4毫米的零件。一个共享策略仅使用是或否的成功奖励进行训练。NVIDIA报告称，该策略的训练成功率为98.2%，而各任务独立策略为81.4%，且使用的GPU时间约少39倍；这些是仿真训练结果。
AlphaNIST背后是Success-Guided Sampling，由华盛顿大学和NVIDIA开发。它将练习引导至接近策略能力边界的配置，尤其是那些策略约有一半概率能解决的配置。该方法作者报告称，其有效扩展超过一百万个仿真环境，并将基于RGB的装配策略零样本迁移到真实的UR5e硬件上。
基准测试应对工业差异
Isaac Lab-Arena提供评估层。这个开源框架从模块化组件构建可重复的评估，并在GPU加速的仿真环境中运行这些评估，同时通过失败分析显示哪些条件需要再次进行训练运行。NVIDIA表示，其0.4开发者预览版将在CoRL上推出。
DexBench v1.0由RLWRLD与NVIDIA共同开发，包含零售、物流、装配线和酒店餐饮场景中的15项任务。来自加州大学伯克利分校和NVIDIA的VABAR涵盖工具分拣和悬挂、齿轮啮合、注射器包装以及线缆插入和布线，并由一个包含33项技能的技能库提供支持。VABAR的项目页面称，其当前的两个难度级别构成验证集，更难的测试集仍在准备中。
加州大学伯克利分校的Graph-as-Policy框架使用多个智能体来组合一个可解释的机器人技能有向图，在仿真中排练，并在失败后修改其结构和参数。该项目报告称，十次排练迭代将其“制作爆米花”的结果从最初的33%提升到仿真中的94%，并在真实机器人上达到90%，即20次运行中成功18次。其当前基准测试侧重于准静态操作；可变形体、动力学和移动目标仍属于未来工作。
GR00T 2使用一个推理智能体来安排技能顺序、监控进度，并在零件掉落或工作停滞时调用恢复程序，而模型则负责接触密集的操作。借助纠正数据和该智能体，NVIDIA报告称，在每种玩具各100次试验中，成功完成了98次玩具飞机组装、97次玩具拖拉机组装和97次Hot Wheels组装，每次试验都从随机倾倒的零件开始。仅靠监督微调分别只产生了69次、51次和23次成功。
白皮书另行报告称，在其长时程后训练基准测试中，平均成功率约为70%。在视觉引导的垃圾分类中，机器人在一集时长的中位数38%期间等待智能体，暴露出智能体监督的延迟成本。
NVIDIA表示，Nexuni正在测试GR00T 2用于衣物处理，富士康正将其应用于服务器制造自动化，西门子正在评估工业用例。已披露的工作属于测试和评估；尚未宣布任何生产部署。
白皮书的结论将可靠性划分为：预训练提供广度，纠正演示和强化学习提供精度，智能体提供记忆、验证和恢复。因此，对于工业用户而言，有用的衡量标准是围绕GR00T 2的完整工作流以及每项任务所消耗的监督。公开部署的挑战在于，在保持所报告可靠性的同时，减少NVIDIA自身结果中记录的每任务适配和智能体等待时间。