AWS 详解在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
AWS 发布教程,介绍在 Amazon Bedrock 上调用 OpenAI 模型时如何用提示词缓存降低智能体重复读取上下文的成本,区分隐式缓存与显式 prompt_cache_breakpoint 两种方式并建议组合使用。文中给出工具与指令缓存、多轮历史滚动断点、会话中途新增工具、子智能体共享前缀等代码示例,并称在 GPT-6 Astra 的六轮工作负载中隐式缓存降低约 62% 输入成本,显式滚动断点降低约 61%。可缓存前缀需至少 1024 token,缓存写入按正常输入价格的 1.25 倍计费。

,约 4,000 token 的工具与指令前缀在首次请求时写入了 4,120 个 token,并在后续请求中读取了这 4,120 个 token。这个 task (或用户请求)出现在缓存边界之后,因此这不会触发对缓存的写入。 请记住,提示词缓存仅在传入完全相同的文本时才有效。请确保智能体的指令和工具列表每次都以相同方式序列化。模型上下文协议(MCP)服务器及其他形式的工具交付方式需要建立索引,以确保它们保持一致。请将任何会变化的内容(例如日期、用户名或请求 ID)放在已缓存的指令之后。 会在你的应用程序中保留对话历史。这不会禁用缓存。当下一轮继续同一任务时,这很有用。不同的任务无法通过旧任务匹配前缀,而隐式写入也不一定会仅为工具和指令单独创建一个条目。当你需要让这个较短的共享前缀可跨任务复用时,请在那里使用显式标记。当智能体既需要共享起点又需要不断增长的历史记录时,请同时使用两者。从标记的 store=False 会在你的应用程序中保留对话历史。这不会禁用缓存。 def ask with implicit cache(history): return client.responses.
匹配字段正文









