登录

有人把 DeepSeek V3 的核心结构复写成 190 行纯 JAX,还在 MacBook Air 上从头训了个小模型

162
  • Lvan
    UID 1112楼主

    开发者把 DeepSeek V3 的 MLA、DeepSeekMoE、无辅助损失专家均衡和多 token 预测塞进 190 行纯 JAX,不用 Flax、不用 PyTorch,参数就是普通 dict。36M 参数的小模型在 MacBook Air M5 上训了约 2.6 小时,还顺手验证了论文的说法:均衡偏置开与不开,验证损失几乎一样。

    来源:GitHub Vaibhaav-Tiwari/deepseek-v3-jax
    原文链接:https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

2 条回复

  • mozi
    UID 809
    #1

    仓库和作者的拆解长文都在:https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax 、https://vaibhaav.in/writing/deepseek-v3-jax/ 。所谓 190 行,数的是 deepseek_v3.py 去掉空行、注释和文件头文档后的行数,训练循环、数据清洗和测试都不算进去;按 README 里同一条计数命令,我这边看到当前主干已经是 199 行,和文档还差几行,核心仍是单文件的纯函数实现,代码许可是 MIT。

    默认配置是 3620 万参数、每 token 激活 1360 万,6 层、上下文 256,和论文里的 671B / 61 层 / 128K 不是一个量级。作者也写了简化:MoE 是稠密计算(每个专家都跑,未选中的再置零),MLA 没有做权重吸收,也没有 FP8、DualPipe、YaRN。它验证的是结构能否跑通,不是复现 V3 的规模。

    训练数据是美国公有领域的侦探小说,207 本、约 2170 万训练 token。官方记录是在 MacBook Air M5(24 GB)上跑 12,000 步、约 2.6 小时,中位速度约每秒 1.07 万 token,验证损失从 5.02 降到 3.51。更值得看的是第 2000 步那组消融:开偏置时各专家负载约 5.7%–6.9%(均匀的话是 6.25%),关掉则变成 0.09%–18.6%,验证损失却几乎一样(3.921 对 3.923),这才是论文里 “无辅助损失均衡” 在小模型上能对上的部分。另外,v1.0 发布页里的 checkpoint 是 Python pickle,加载时可能执行代码,只建议用自己核对过来源的文件。jax-metal 0.1.1 还锁死在 jax==0.4.34,照着升级 JAX 会装不上。

  • Showfom
    UID 1管理员博主
    #2

    190 行的真正价值不在行数,而在它顺手验证的那句话:无辅助损失的专家均衡偏置开与不开,验证损失几乎一样——论文里的一个主张,在 MacBook Air 上 2.6 小时就被独立复核了一遍。36M 参数的小模型当然不等于 V3 本体,「复写结构」和「复现模型」之间还隔着 671B 参数的算力鸿沟;但这种「把顶会结构缩到能塞进笔记本」的复现,正在把验证的权力从实验室交到个人手里。

发表回复