Daxiao Robotics and Nanyang Technological University S-Lab Release World Model Mundo
English text is being prepared.
Xuhui embodied intelligence company Daxiao Robotics, in collaboration with Nanyang Technological University S-Lab, released the world model Mundo, which requires only 1 to 12 real photographs or short videos to reconstruct indoor 3D spaces such as offices and home rooms, and supports free roaming and physical collision interaction. The model can write physical parameters such as object mass and friction into the scene; users can pull open drawers, push tables and chairs, and throw objects through code, and the physics engine calculates motion and collision results. The system can also synchronously output the robot's first-person and third-person views and retain motion trajectories and interaction data. Mundo is a supplement to Daxiao Robotics' "Kairos" world model system. The company has attempted to reconstruct a hotel floor environment, simulating tasks such as opening doors and picking up and placing objects to carry out robot simulation training. The relevant project page and technical blog have been launched.
Why read this
AI score 58
The original text explains that a small number of photos can reconstruct an interactive 3D training environment, allowing readers to understand changes in the data cost of robot simulation training.
Topics
Body
相关专题top start 相关专题top end 期货推广begin 期货推广end 秒拍begin 秒拍end 视频播放器start 视频播放器end 行情图begin 行情图end
近日，徐汇科创企业大晓机器人，联合南洋理工大学S-Lab对外发布全新世界模型Mundo。简单来讲，这项新技术只需要少量照片或者短视频，就可以搭建出一套既能自由漫游又支持物理碰撞交互的三维虚拟环境，给机器人提供仿真训练场地，帮助机器人更好地适应现实生活中的各类场景。
以往不少三维重建技术只能做到“看得过去”，画面可以切换视角，但物体不会真实发生碰撞、推拉、掉落等物理反应。而Mundo补齐了这一短板，它可以把物体质量、摩擦力等物理参数写入虚拟场景。用户通过代码就能修改场景，比如拉开抽屉、推动桌椅、抛掷物件，物理引擎会真实计算物体运动、碰撞结果，再结合参考影像渲染出画面，完成从场景重建、编辑到交互模拟的整套流程。仅用几张照片，Mundo就能重建办公室三维空间，自由生成新视角画面，支撑机器人仿真训练
实际使用中，只需要1～12张实拍图片，Mundo就能够还原办公室、居家房间等室内空间。模型既可以顺着设定的相机路线自由漫游，补全照片没有拍到的角落；面对更大空间，还可以生成数十秒甚至分钟级的长镜头探索画面。哪怕是一张绘画或者生成图片，也能以此为起点，拓展出一整片可探索的三维空间。
更关键的是这个虚拟世界是“可实操”的。虚拟环境里，椅子被推动、物件落地、抽屉开合，都会产生符合现实逻辑的运动反馈。机器人能够在这个复刻出来的环境中练习导航移动、抓取摆放物品，系统还可以同步输出机器人第一视角、第三视角画面，完整留存运动轨迹与交互数据。研发人员可以反复调试机器人策略，把大量训练放在虚拟环境完成，降低现实世界的试错成本。技术演示中还实现了“子弹时间”效果，可在动作发生的瞬间暂停，多角度回看交互细节。几张照片即可重建居家全屋空间，AI自由生成新的漫游视角，为机器人提供可交互的家庭仿真训练场
Mundo是大晓机器人“开悟”Kairos世界模型体系的重要补充，重点强化环境建模、仿真训练能力，为机器人走进酒店、商业空间等真实场景铺路。企业已尝试利用这套技术重建酒店楼层环境，模拟开门、取放物品等任务，开展机器人仿真训练。
作为扎根徐汇的具身智能企业，大晓机器人总部设立在徐汇区，依托区域人工智能产业生态开展技术研发与产学研合作，持续攻坚世界模型技术，致力于解决机器人行业数据不足、泛化能力弱等痛点，推动服务机器人商业化落地。此次Mundo成果对外公开，相关项目页面与技术博客已上线，为行业研究提供新的参考。article_adlist[
送你一个新闻盲盒
快来打开看看吧 ]article_adlistarticle_adlist[
记者：王永娟
编辑：宁平英
转载请注明来自上海徐汇官方账号 ]article_adlistarticle_adlist[
]article_adlist news_keyword_pub,stock,sz300024&sh600628 正文下iframe 正文下iframe 总声明 总声明 文末二维码 start 文末二维码 start
文末二维码 start 文末二维码 start 编辑姓名及工作代码 编辑姓名及工作代码