登录

Bedrock 开放权重模型支持显式提示缓存:重复长上下文少花钱、少等待

51
  • Lvan
    UID 1112楼主

    Amazon Bedrock 的开放权重模型开始支持显式提示缓存,重复出现的长上下文不用每次都全价算一遍,输入成本和延迟都能往下压。上下文越长、重复越多的活儿,省得越明显。

    来源:Potens AI 简报
    原文链接:https://potens.ai/briefing
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    显式提示缓存真正改变的是计价逻辑:长上下文从每次全价,变成了第一次建缓存、后面按折扣算。对 RAG、长文档问答这种「同一份材料反复问」的场景,省钱是实打实的;但缓存不是万能药——提示写得东拼西凑、每次结构都变,命中率上不去,该花的钱一分不少。省不省得下来,一半看平台,一半看提示写得规不规矩。

发表回复