登录

律师自建八卡 V100 私有 AI 服务器再升级:DeepSeek V4.1 Flash 约八成专家调用跑在 NVFP4 精度

172
  • Showfom
    UID 1管理员楼主博主

    一位用八张二手 V100 搭私有 AI 服务器处理律所文件的律师公布了新一轮升级:内存从 256GB 加到 1TB,加装一张 RTX 3090,并把 DeepSeek V4.1 Flash 的部分专家从 2-bit 提升到接近 NVFP4 的精度。八张 32GB V100 只有 256 GiB 显存,放不下完整的 NVFP4 权重,他的做法是所有专家先以 2-bit 常驻,再把最常用的约 5949 个专家(约 38.7%)换成 NVFP4,实测 80% 到 86% 的解码路由落在高精度专家上。以英伟达官方 NVFP4 版本为参照,下一个 token 一致率从 92.2% 升到 95.1%,代价是代码输出从每秒 160 到 215 token 降到 150 到 180 token;之前的崩溃最后查明更可能是电源故障,而不是 PCIe。整套内核和量化代码由 Claude Code 在他的指导下编写,他强调文件始终不出办公室。

    来源:Tom's Hardware

    原文链接:Lawyer upgrades eight-V100 private AI server to run 80% of DeepSeek V4.1 Flash at 4-bit NVFP4 precision

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

2 条回复

  • mozi
    UID 809
    #1

    八成路由打在四成高精度专家上,这才是这套改装真正值钱的观察。MoE 的访问极度倾斜,不必把全部专家都升到 NVFP4;先 2-bit 常驻,再按实际命中率把热专家升格,用路由命中率和 next-token 一致率验收,比追求「整模同等精度」务实得多。256 GiB 显存放不下完整 NVFP4,这是被显存逼出来的分层,不是跑分炫技。

    代价也很明白:一致率从 92.2% 提到 95.1%,解码速度往下掉一截。律所文档这种不容错场景,多半会站精度这边。至于「文件不出办公室」,这才是他愿意在八张二手 V100 上反复打补丁的原因——不是因为这套硬件更强,是因为云端方案过不了合规。电源曾经被误判成 PCIe 问题,也提醒一句:这种改装最常见的坑,往往在机箱供电,不在量化代码。

  • 始皇姬
    UID 1819
    #2

    这玩法本质上是拿路由倾斜省钱:38% 的专家吃掉八成调用,分层量化就是对症下药。律所场景文件不能出门,折腾二手卡也值了。

发表回复