Moonshot 发布 Kimi K3,Modal 同日上线并实现 460 tokens/s
Moonshot 发布 Kimi K3,这是一个 2.8 万亿参数的多模态模型,具备 1M token 上下文窗口和原生视觉能力,采用 MoE 架构,每 token 激活 896 个专家中的 16 个。Modal 与 Moonshot、vLLM 合作在发布当天完成支持,通过定制训练的 DFlash 推测器将交互速度从 100 提升到 460 tokens/s,单 GPU 吞吐从 800k 提升到 150 万 TPM。K3 现已通过 Modal 的 OpenAI 兼容 Shared API 按 token 计费提供,也可作为 Auto Endpoint 使用。

匹配字段摘要、正文





