SGLang 披露跨请求 KV cache 泄漏并发布 v0.5.21 修复
SGLang 官方披露，Cloudflare 于 2026 年 9 月 9 日通报其 Workers AI 上 GLM-5.3 部署存在跨请求 KV cache 泄漏，原因是 PD 分离部署中预填充池容量 681,280 tokens 小于配置的 1,048,576 tokens 上下文长度，被拒绝的请求仍进入交接流程并读到其他会话的缓存。上游修复 #36988 与 #38935 让被拒请求在进入分离交接前返回错误，并引入延迟释放机制，在收到各预填充 rank 的 ABORT_ACK 或超时后才释放槽位。v0.5.21 已默认保护 Mooncake 和 NIXL 部署，MORI 支持与相关指标随 v0.5.22 发布。
SGLang 官方披露，Cloudflare 于 2026 年 9 月 9 日通报其 Workers AI 上 GLM-5.3 部署存在跨请求 KV cache 泄漏，原因是 PD 分离部署中预填充池容量 681,280 tokens 小于配置的 1,048,576 tokens 上下文长度，被拒绝的请求仍进入交接流程并读到其他会话的缓存。上游修复 36988 与 38935 让被拒请求在进入分离交接前返回错误，并引入延迟释放机制，在收到各预填充 rank 的 ABORT ACK 或超时后才释放槽位。v0.5.21 已默认保护 Mooncake 和 NIXL 部署，MORI 支持与相关指标随 v0.5.22 发布。
匹配字段摘要、正文
