Google 实测用轻量分类器在 Gemini 模型与思考等级间路由以降低单任务成本
Google Developers Blog 用 50 道自动评分的编码智能体题目实测,把 TypeSafe 的 Jev 分类器接在模型调用前做路由,简单任务交给 Flash-Lite、复杂任务升级到低思考等级的 Gemini 3.8 Flash,50 题全部答对,成本与响应时间均低于全程使用低思考等级 Flash。文章还发现,把 maxOutputTokens 压到 300 并不能减少简单任务上的思考开销,反而让 25 道难题中的 7 道出错;基于关键词和提示词长度的本地启发式规则在 34 道未见过的题目上准确率从 93.8% 降到 70.6%。作者建议先直接使用低思考等级的 Flash,再对短小独立任务加分类器路由,长上下文任务保持单一模型以维持 Context Caching 折扣。

oken 生成文本,而是在单次前向传播中评估结构化分类原语:从列表中选择一个 Choice、一个数值 Score,或一个 Noul——后者针对二元陈述返回 0 到 1 的概率。 为完整披露:Google 与 TypeSafe 并无合作关系,本文也不构成对 TypeSafe 或其产品的背书。此处使用 Jev 仅作为轻量级分类器的一个示例,同样的路由模式也可以用其他分类器构建,包括 Google 原生的分类器。例如, 判别式模型入门 codelab 就在你自己的 Google Cloud 项目中,对 Google DeepMind 的开源权重模型 DiffusionGemma 运行同类分类器。 我们针对实时 Gemini 和 Jev API 运行了一个 50 题、自动评分的编码智能体基准测试,以检验一个近乎免费的分类器能否将每个任务路由到仍能正确完成它的最便宜模型。以下是我们得到的发现: 1. 正则表达式和 token 长度框架路由器在未见过的智能体任务上会失效 让 Jev 路由编码任务的最朴素方式,是提出一个宽泛的单一 Choice 问题: simple 或 complex。当我们最初在
匹配字段正文







