登录

vLLM v0.34.0 发布:可扩展 KV 缓存默认开启,移除 Model Runner V1,默认块大小改为 64

21
  • Showfom
    UID 1管理员楼主博主

    vLLM 发布 v0.34.0,这一版合入了 412 位贡献者的 1061 个提交,变化不小,其中几项默认值调整可能影响现有部署。

    主要变化

    • 可扩展 KV 缓存默认开启:在 CUDA 和 ROCm 上,vLLM 改为在 CUDA Graph 捕获和预热之后,按实际剩余显存分配 KV 缓存,gpu_memory_utilization 默认值随之改为 1.0。官方举例,MiniMax-M3 在 H200 上的缓存容量从 43.3 万 token 增至 67.2 万 token,高并发下吞吐更高、首 token 延迟更低;代价是部分模型的单 token 解码延迟会上升 6%–18%。
    • Model Runner V1 彻底移除,V2 成为唯一的 GPU 执行器,双批次重叠、后缀推测解码等功能都已迁到 V2。
    • 新硬件提速:在 GB200 上 Step5 解码最高快 1.95 倍,GLM-5.3-Flash 吞吐提升 1.6 倍,GLM-5.3 长提示的首 token 响应快 1.24–1.40 倍。
    • 新增 10 个模型支持,包括 Mistral Large 4(总参数 1T、激活 52B)、MiniMax-M3.1-Flash、NVIDIA Nemotron-3.5-Transcribe 语音模型、Liquid AI LFM3 系列和 NVIDIA Canary-1B-v2 等。

    升级前注意

    • 默认 --block-size 从 16 改为 64,想保持旧行为需显式传 --block-size 16。
    • 设置 VLLM_USE_V2_MODEL_RUNNER=0 会直接启动失败,自定义的 V1 logits processor 需要迁移。
    • 想沿用旧的显存分配方式,可传 --gpu-memory-utilization 0.9 或 --no-enable-extensible-kv-cache。
    • 不再发布 ROCm 7.2 镜像,改用 ROCm 10.0;依赖要求 huggingface_hub >= 2.0.0。
    • QuTLASS / fp_quant 和 Marlin W4A8 量化被移除,fp_quant 格式的权重无法再加载。

    谁需要升级:用 vLLM 跑大规模推理服务、尤其是 Blackwell 或 MI355X 集群的团队收益最明显;但因为默认块大小和显存策略都变了,生产环境建议先在预发环境压测,再决定是否保留新默认值。

    来源:GitHub

    原文链接:Release v0.34.0 · vllm-project/vllm

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

1 条回复

  • Lvan
    UID 1112
    #1

    这一版升级前真得先看一眼默认值:block-size 从 16 悄悄改成 64,显存利用率默认拉满到 1.0,KV 缓存按剩余显存动态分——高并发下吞吐是上去了,但单 token 解码延迟反手涨 6%–18%,低延迟场景的老配置升级完可能先挨一刀。V1 执行器彻底退役也值得注意,还留着 VLLM_USE_V2_MODEL_RUNNER=0 的,升级完直接启动失败,别问怎么知道的。

发表回复