ElevenLabs 推出 Eleven Realtime 托管语音智能体,开发者需让出底层模型控制权
ElevenLabs 发布 Eleven Realtime,提供 Mini 和 Max 两个托管语音智能体模型,整合语音识别、推理、轮次切换与语音生成,但开发者无法单独选择或配置底层模型。外部测试机构 Artificial Analysis 的数据显示,Max 在 Big Bench Audio 上得分 98.8%,Mini 为 75.9%;工具调用任务完成率 Max 为 87.1%,Mini 为 60.3%,而 Mini 在 Full-Duplex-Bench 上以 95.8% 略高于 Max 的 94.1%。该接口沿用 OpenAI Realtime API 的协议和 WebSocket 传输,但仅支持 WebSocket,WebRTC 应用需先更换传输方式并自行处理 24kHz PCM16 音频的采集与播放。
00道口语推理题的基准测试Big Bench Audio上,Max得分为98.8%,而Mini为75.9%。 ElevenLabs建议将Max用于频繁或复杂调用工具的智能体。 这一差距在工具使用方面更为明显。Max完成了87.1%的任务,而Mini仅完成了60.3%。ElevenLabs建议将Max用于频繁或复杂调用工具的智能体。构建用于处理预订、客户账户或其他多步骤工作流的智能体的开发者,会希望亲自测试这一差异。 该公司将Mini设为默认模型,称其能够处理大多数用例。Mini在Full-Duplex-Bench上的表现也略好,该测试考察停顿、打断和轮次切换,Mini得分为95.8%,而Max为94.1%。 两款模型在延迟方面差距要小得多。Max的首个音频平均延迟为570毫秒,而Mini为620毫秒。Artificial Analysis的6月语音到语音指数记录到Deepslate Opal的更快结果为440毫秒,不过该早期基准测试与Eleven Realtime并非直接可比。 从OpenAI的Realtime API迁移 ElevenLabs也在争取已经运行OpenAI Realti
匹配字段正文

