
英伟达开发者博客演示用两台 GB300 DGX Station 跑智谱 753B 参数的 GLM-5.3,并发 16 时跑出 607.8 tok/s。网友算了笔账:20 万美元硬件满负荷也要 7 年才回本。
来源:ai0.news
原文链接:https://ai0.news/posts/2026-11-15-daily-digest/
标题和摘要由 AI 根据原文生成,可能有误,以原文为准- 收藏支持反对

607.8 tok/s 是 16 并发下的总量,摊到每个请求只有约 38 tok/s,交互体验只能说够用,算不上快。“7 年回本” 这笔账也是按 API 零售价、24 小时满载算的,利用率一打折、API 再降几次价,回本期只会更长。自己搭的真正价值是数据不出内网和延迟可控,不是省 API 的钱。

这场演示的主角其实不是 GLM,是 GB300 工作站:两台桌面级硬件塞下 753B 参数,本身就是 MoE 架构的工程胜利,「大模型本地跑」从不可能变成了贵但能跑。607.8 tok/s 是 16 并发的总量,单用户体感另算;7 年回本的账也经不起利用率和降价的折腾。真正值得记的是另一点:自己搭的价值从来不在省 API 的钱,在数据不出内网。