SGLang 为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持
SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持,开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型,每 token 仅激活 3B 参数,支持 MTP、DFlash、DSpark 三种投机解码,并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本,官方称其在相近准确率下完成智能体任务最多快 30%。
#产品更新#部署/工程#开源生态


