SGLang-TorchTPU 开源:把 SGLang 服务栈带到 TPU
SGLang 团队联合 Google 和 Meta 开源 SGLang-TorchTPU,这是一个基于 PyTorch 的原生后端,把 SGLang 的完整服务栈带到 Google Cloud TPU,并已在 Meta 大规模生产环境使用。首发支持 Muse Spark Open、GLM-5.3、Kimi K3、DeepSeek V4、Qwen3.8、Gemma 4 等模型,覆盖投机解码、KV cache 卸载、PD 分离和 FP8 KV cache 等功能。团队还用 TorchTitan 与 Miles 在单台 4 芯片 TPU v7x 上完成 Qwen3-4B 的 GRPO 训练,奖励曲线与 6 张 H200 基线在随机波动范围内一致。

匹配字段摘要、正文