Perplexity 发布 LLM 网关实践指南,梳理请求链路与生产风险
Perplexity 于 2026 年 10 月 27 日发布 LLM 网关实践指南,说明这一中间层如何路由、鉴权、缓存和记录模型调用,并区分 API 网关、LLM 网关、MCP 网关与 AI 网关四类形态。指南以六步请求生命周期拆解机制,同时警告网关集中了各家供应商凭证,并引用 Microsoft 披露的 LiteLLM 网关入侵事件和 Check Point 报告的 CVE-2026-35029、CVE-2026-59823 两个高危漏洞(已在 LiteLLM 1.83.9 修复)。文中还列出 Cloudflare AI Gateway 与 OpenRouter 的故障复盘、四条部署路径及约 50 美元/月起的付费方案。
Perplexity 于 2026 年 10 月 27 日发布了一份关于 LLM 网关的实践指南,向工程团队详细讲解这一中间层如何路由、鉴权、缓存和记录模型调用,并梳理了将各供应商凭证集中在一个服务中所带来的安全与可靠性风险。 网关的定义与分类 该指南将 LLM 网关定义为模型调用的反向代理:应用程序将请求发送至网关,而非直接发送给 OpenAI、Anthropic 或 Google 等供应商,网关则按照运营方设定的规则转发这些请求。指南将这一类别视为对“散乱局面”的回应,开篇引用了 2026 年 9 月 Reddit 的 r/LLMDevs 版块上的一篇帖子,其中一位工程师描述了自己的工作场所:每个人都各自持有 Claude、OpenAI、AWS Bedrock 及其他推理供应商的密钥。 指南的对比表区分了四种网关类型。API 网关位于后端服务之前,决定客户端是否通过鉴权以及是否在其速率限制之内。LLM 网关位于模型供应商之前,决定哪个模型接收请求、由谁付费以及请求是否成功返回。MCP 网关决定智能体是否可以携带给定参数调用某个工具。指南用“AI 网关”来指代那些捆绑了上述部分角色组
匹配字段正文





