MirroS 发布 AgentGarten:代码环境加实时神经渲染让智能体边玩边进化
MirroS 团队发布 AgentGarten,将可执行代码环境与实时神经渲染器连接,代码定义物理规则、模型生成视觉反馈,以超过 30 fps 的吞吐让智能体持续与世界交互。在重做的捉迷藏实验中,躲藏者第 4 轮学会搬挡板搭掩体,搜寻者第 10 轮掌握借坡道翻墙,策略演化依靠智能体自己写下的实验手册。团队还提出 Adversarial Forcing 训练方法与精确重放机制,以 480p 分辨率、30 fps 以上吞吐支撑闭环交互。
身生成样本做分数蒸馏,长时间推演容易失真并出现网格状伪影。 团队在训练中引入真实视频判别器构建对抗信号,以真实物理画质为锚点,既约束画面质感,又让生成结果严格贴合代码给出的几何轮廓。 4、维持30+ fps实时交互 团队手写定制了Triton融合算子,消除了显存往返,并避免了传统全图编译数分钟的冷启动等待;配合CUDA Graph消除CPU调度开销,并换上延迟不到10毫秒的超轻量解码器,最终以480p分辨率、30 fps以上的吞吐稳定支撑闭环交互。 可执行的代码,让训练世界能够被无穷无尽地程序化生成;学习得到的渲染器,让这些世界拥有可感知的逼真物理反馈;沉淀下来的实验手册,让每一次摸索都能成为下一轮探索的台阶。 结合这三者,智能体拥有了一个可以真正探索、试错、进化的空间。 这正是MirroS探索Physical RSI(物理世界的递归自我改进)的核心理念。 语言模型的Scaling正在如火如荼,而物理世界中智能的Scaling才刚刚拉开序幕。 真正的通用具身智能,需要在与物理世界的真实往复中持续生长: 让每一次未知,都成为下一轮进化的起点。 本文系量子位获授权刊载,观点仅为原作者所有。
匹配字段正文