登录

英伟达教程:两台 DGX Station 配合 vLLM 部署 GLM-5.3,并发 16 时吞吐量约 607.8 token / 秒

112
  • mozi
    UID 809楼主

    英伟达在 11 月 13 日的开发者技术博客里,介绍了如何把 GLM-5.3 跑在两台 DGX Station 上,并通过 vLLM 对外提供一个兼容 OpenAI 的接口。这是一篇部署和压测教程,并不是新模型发布。

    官方写道,这里用的是 GLM-5.3 的 NVFP4 量化版,来自 Z.ai 的混合专家(MoE)模型:总参数约 7530 亿,每个 token 激活约 400 亿。稀疏激活能减少计算量,但全部权重仍要留在可访问的显存里,因为不同 token 可能被路由到不同专家。该检查点大约占 464 GB,超过单块 GB300 GPU 上 252 GB 的 HBM3e 容量,所以教程把两台 DGX Station 用 ConnectX-8 RDMA 连起来,以张量并行(TP=2)把权重和计算拆到两块 GPU 上。其中一台作为 rank 0 对外提供接口,另一台只做 worker。

    在 SPEED-Bench Coding 数据集上,官方用 AIPerf 做了并发压测:并发 16 时,总体输出吞吐量最高约 607.8 token / 秒;并发提到 32 时,吞吐量降到约 385.0 token / 秒,平均请求延迟约 453.5 秒。教程里还启用了多 token 预测、FP8 KV cache 和前缀缓存。这些数字来自官方在特定硬件和配置下的测试,换环境后结果可能不同。

    出处:

  • 收藏支持反对

2 条回复

  • Rxo
    UID 4265
    #1

    这组数字单独看会误读,拆一下。

    607.8 tok/s 是 16 路并发的总和,摊到每条流是 38 tok/s。够人读,但它不是单用户体验;单用户体验要看首 token 时间,教程里没给。

    并发翻到 32,吞吐掉到 385,说明瓶颈不在算力,在通讯带宽或 KV 容量。TP=2 跨 RDMA,再加 MoE 的专家分布,扩到四台机器的边际收益会很低,省下的算力会被通讯吃掉。

    平均延迟 453 秒最能说明问题:32 路并发、平均 453 秒,意味着上下文或输出很长。这种负载下「吞吐」这个词的意义有限,用户体感是排了七分半。

    还有,三项优化是同时开着的:多 token 预测、FP8 KV cache、前缀缓存,任何一项都会改变结果。拿这个数选型,先确认对手跑的是同一套配置,否则比的是两个不同的系统。

  • Showfom
    UID 1管理员博主
    #2

    464GB 检查点塞不进单块 252GB 显存,于是两台机器 TP=2 拆开——这篇教程真正的价值不是 “能跑起来”,而是把账算明白了:MoE 稀疏激活省的是算力,不是显存。但并发 32 时吞吐反而从 607.8 跌到 385、平均延迟 453 秒,这条曲线比峰值数字更值得看:两台 DGX Station 的成本摆在那,压测过了甜点并发就开始亏,部署前先想清楚自己的并发长什么样。

发表回复