登录

按 token 算 KV cache:一条公式,四个能直接对照的数

476
  • Rxo
    UID 4265楼主

    KV cache 跟参数量没关系,只取决于四项:层数、KV 头数、head_dim、精度。

    KV bytes/token = 2 × layers × kv_heads × head_dim × bytes_per_element
    

    2 是 K、V 各一份;kv_heads 取 config 里的 num_key_value_heads,不是 num_attention_heads——没有这个字段就是 MHA,K/V 头和 Q 头一样多,GQA 省的就是这一项。

    fp16(每元素 2 字节)下直接对照:

    模型层数KV 头head_dim每 token8k 上下文
    Llama-2-7B(MHA)3232128512 KiB4 GiB
    Mistral-7B(GQA)328128128 KiB1 GiB
    Llama-3-8B328128128 KiB1 GiB
    Qwen2.5-72B808128320 KiB2.5 GiB

    前两行同代、同规模,差 4 倍,全在 KV 头数;最后一行的 72B 反而只比 7B 多一倍多。显存账单跟参数量不成正比。

    几个容易漏的乘数:

    1. 并发。上表是一条序列。N 个请求同时跑就是 N 份,哪怕每条只用了 2k 上下文。
    2. KV 量化。可以单独压:q8_0 约减半,q4 约四分之一。长上下文下精度损失会集中出现,先测再开。
    3. MLA 不适用。DeepSeek 那类把 K/V 压成 latent,公式要换成 layers × (kv_lora_rank + rope_dim),套上表会算错。
    4. head_dim 不等于 hidden/heads。以 config 为准,别自己除。

    用法:先算每 token 的数,乘你实际给的上限,剩下的显存再留给权重和运行时开销(通常几 GiB)。本地跑模型时,ollama ps 里的 size 和算出来的对得上,说明没算错。

  • 收藏支持反对

6 条回复

  • mozi
    UID 809
    #1

    公式没问题,但还有个更容易把账算炸的点:很多推理框架按你设的上下文上限预留 KV,不是按当前对话真正用了多少 token。Ollama 把 num_ctx 从默认的 2k/4k 改到 32k、128k 很常见,空对话也按满额占显存,GQA 的 7B 都能从大约 1 GiB 变成 4 到 16 GiB。所以先对的是「上限 × 每 token」,不是「这次输入有多长」。并发再乘 N 之前,先把这条上限砍到实际需要。

    ollama ps 的 size 含权重和运行时,对账时把这两块减掉再比 KV,才不会觉得公式算错了。

  • uvexz
    UID 1158
    #2

    上表是静态值,还有一个动态的坑:生成时 KV 是逐 token 增长的,预算要按 prompt + max_tokens 的上限算,不是按 prompt 长度。prompt 刚好塞得下、生成到一半显存爆掉的 OOM,比起步就报错更常见。另外 vLLM 这类分页分配按 16 token 一块取整,每条序列实际占的比公式算的多一截,短序列比例上浪费更大。

  • mozi
    UID 809
    #3

    @uvexz #2 预留要按 prompt + max_tokens、vLLM 再按块取整,这俩坑都对。再补一个按「字数」会低估的来源:多模态和工具调用。一张图常常被编成几百到上千个 visual token,工具返回的 JSON、检索片段也会进 KV,这些都不在用户输入的字数里。本地把 num_ctx 开到 32k 再丢两张图,显存比纯文本涨得快得多。算上限时,图和工具输出要按 token 计,别按字符估。

  • hi2hi
    UID 170
    #4

    公式算的是假设,显存占用取决于实现。遇到滑动窗口、前缀共享和分页缓存,先确认运行时到底保留了什么,再拿配置里的上下文长度乘到底,否则算得很精确,前提却不成立。

  • Lvan
    UID 1112
    #5

    公式本身没毛病,但它量的是标准注意力那套老家具。碰上 DeepSeek 那种 MLA,KV 被压成一个 latent 向量再存,“每 token 多少字节” 这杆秤直接失灵——拿这公式去比 MLA 模型和普通模型的显存,相当于拿卷尺量气球,数字越精确,错得越自信。算之前先看一眼架构是不是还在用老式 K/V,要不这张表就成了精致的摆设。

  • 煤球大王
    UID 12612
    #6

    KV 量化那一条还可以再拆开:K 和 V 不是一把尺,整份 KV 一起压到 q4 是最省事、也最容易掉点的压法。

    原因在计算路径上。K 要先和 Q 做点积、再过 softmax,量化误差会直接改变注意力分数的排序和尖锐程度,长上下文里找关键信息时最先坏的往往是这一步;V 是被注意力权重加权平均的内容,误差会被平均摊薄,容忍度天然更高。这也是为什么不少 KV 量化方案对 K 按通道量化、对 V 按 token 量化,或者干脆 K 留更高精度、V 压得更狠。

    所以主帖那句「先测再开」可以测得更具体一点:不要只比「全 q8 vs 全 q4」,加一组 K q8 / V q4 的不对称组合,用长上下文的检索类任务(比如大海捞针式的定位)而不是短提示困惑度来验收。很多时候显存省下的大头在 V 那边,而精度守住的关键在 K 那边,两边分开定价,账才算得细。

发表回复