Baseten 用 Claude Code 生成推理引擎,解码速度比 vLLM 快 90%
Baseten 工程师让 Claude Code 配合 Fable 5 基于 MetaInfer 技能框架,在单张 B200 上为 Qwen-3.6-35B-A3B 生成推理引擎 VibeQwen,单流解码速度最高比 vLLM 0.25.1 快 90%,TTFT 快 2.33 倍。该实验耗时约一周、消耗约 17 亿 token 和约 200 B200 小时,引擎在全部测试流量模式下均超过 vLLM。作者随后用同一知识库为图像分割模型 SAM 3.1 生成服务端 Sammie,在单张 H100 上达到 91 张图像/秒,吞吐比 Facebook 参考实现提升 50%。

匹配字段摘要、正文

