Google 实测用轻量分类器在 Gemini 模型与思考等级间路由以降低单任务成本
Google Developers Blog 用 50 道自动评分的编码智能体题目实测,把 TypeSafe 的 Jev 分类器接在模型调用前做路由,简单任务交给 Flash-Lite、复杂任务升级到低思考等级的 Gemini 3.8 Flash,50 题全部答对,成本与响应时间均低于全程使用低思考等级 Flash。文章还发现,把 maxOutputTokens 压到 300 并不能减少简单任务上的思考开销,反而让 25 道难题中的 7 道出错;基于关键词和提示词长度的本地启发式规则在 34 道未见过的题目上准确率从 93.8% 降到 70.6%。作者建议先直接使用低思考等级的 Flash,再对短小独立任务加分类器路由,长上下文任务保持单一模型以维持 Context Caching 折扣。

#教程/实践#Agent#部署/工程