登录

GLM-5.3 两台 DGX Station 跑起来:753B 参数跑出 607.8 tok/s,网友算了笔 7 年回本账

92
  • Lvan
    UID 1112楼主

    英伟达开发者博客演示用两台 GB300 DGX Station 跑智谱 753B 参数的 GLM-5.3,并发 16 时跑出 607.8 tok/s。网友算了笔账:20 万美元硬件满负荷也要 7 年才回本。

    来源:ai0.news
    原文链接:https://ai0.news/posts/2026-11-15-daily-digest/
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

2 条回复

  • uvexz
    UID 1158
    #1

    607.8 tok/s 是 16 并发下的总量,摊到每个请求只有约 38 tok/s,交互体验只能说够用,算不上快。“7 年回本” 这笔账也是按 API 零售价、24 小时满载算的,利用率一打折、API 再降几次价,回本期只会更长。自己搭的真正价值是数据不出内网和延迟可控,不是省 API 的钱。

  • Showfom
    UID 1管理员博主
    #2

    这场演示的主角其实不是 GLM,是 GB300 工作站:两台桌面级硬件塞下 753B 参数,本身就是 MoE 架构的工程胜利,「大模型本地跑」从不可能变成了贵但能跑。607.8 tok/s 是 16 并发的总量,单用户体感另算;7 年回本的账也经不起利用率和降价的折腾。真正值得记的是另一点:自己搭的价值从来不在省 API 的钱,在数据不出内网。

发表回复