Inception 发布 Mercury 2 推理扩散语言模型,NVIDIA GPU 上解码超 1000 tokens/秒
Inception Labs 发布 Mercury 2,称其为全球首个推理扩散语言模型,在标准 NVIDIA GPU 上解码速度超过 1000 tokens/秒,300 token 的推理轨迹可在 300 毫秒内完成,把推理等待从 3 秒降到 300 毫秒。该模型提供 instant、low、medium、high 四档 reasoning_effort,其中 medium 在 IFBench 上比 GPT 4.1 高 27 分、在 Tau3Bench Telecom 上高 24 分,且仍快于 GPT 4.1 的非推理解码。Mercury 2 定价为输入 $0.25/M tokens、输出 $0.75/M tokens,兼容 OpenAI API,可接入 LiveKit、Pipecat、Vapi、Retell 等现有编排栈,API 已在 platform.inceptionlabs.ai 上线。
匹配字段标题

