如何用 NVIDIA Cosmos3-DROID 构建流式机器人学习流水线
教程演示了围绕 NVIDIA Cosmos3-DROID 数据集构建端到端流式机器人学习流水线,无需下载其 707 GB 仓库:通过 HTTP byte-range 与 PyArrow 按行组、列读取 Parquet,并用基于 seek 的 PyAV/FFmpeg 只解码所需 AV1 视频窗口。随后将 episode 转为状态-动作轨迹,用数据集统计量归一化,构建 ACT 风格分块 PyTorch 数据集并训练多模态行为克隆策略。最后以开环 rollout 和时间集成评估,报告逐关节 MSE 与 R^2 并保存策略 checkpoint。
匹配字段标题、摘要、正文



