LMSYS 发布 SGLang AWS Trainium 插件 Beta
LMSYS 与 AWS 合作发布 SGLang Trainium 插件 Beta,基于新发布的 TorchNeuron 构建,在 Trainium2 和 Trainium3 上支持 LLM 推理服务与 RL rollout 生成。初始覆盖 Qwen3(dense)、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4 和 GLM-5.2/5.3,并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8 和异步调度。首次端到端异构 RL 运行中,SGLang 在 Trainium3 上为 Qwen3-MoE-30B-A3B 生成 rollout,Miles 在单台 H200 节点上用 Megatron 训练 GRPO 策略。Beta 目前仅限少量团队参与。
匹配字段摘要


