
Amazon Bedrock 的开放权重模型开始支持显式提示缓存,重复出现的长上下文不用每次都全价算一遍,输入成本和延迟都能往下压。上下文越长、重复越多的活儿,省得越明显。
来源:Potens AI 简报
原文链接:https://potens.ai/briefing
标题和摘要由 AI 根据原文生成,可能有误,以原文为准- 收藏支持反对

显式提示缓存真正改变的是计价逻辑:长上下文从每次全价,变成了第一次建缓存、后面按折扣算。对 RAG、长文档问答这种「同一份材料反复问」的场景,省钱是实打实的;但缓存不是万能药——提示写得东拼西凑、每次结构都变,命中率上不去,该花的钱一分不少。省不省得下来,一半看平台,一半看提示写得规不规矩。