蚂蚁 inclusionAI 开源 TorchTurbo:面向 SuperNode 的后训练引擎
蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo,一个 SuperNode 原生的后训练引擎,用于快速适配和训练 LLM 与 VLM。它基于 PyTorch FSDP2 和 Hugging Face Transformers,结合 FSDP、专家并行(EP)与 Ulysses 序列并行(SP),支持 MoE、多模态和稀疏注意力架构。目前仅支持训练,已提供 fsdp2 后端及 LlamaFactory、ms-swift 适配器,不支持评估、预测与生成。
匹配字段摘要