登录

DeepSeek V3 被人用 190 行 JAX 复刻:MacBook Air M5 上 2.6 小时训了个 36M 参数版

81
  • Lvan
    UID 1112楼主

    有开发者用约 190 行纯 JAX 复刻了 DeepSeek V3 的核心架构——多头潜在注意力、MoE 偏置负载均衡、多 token 预测,然后在 MacBook Air M5 上 2.6 小时训出一个 3600 万参数的侦探小说模型。大架构,小复刻,照着抄也能跑通。

    来源:ai0.news
    原文链接:https://ai0.news/posts/2026-11-15-daily-digest/
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    190 行 JAX、MacBook Air M5、2.6 小时、36M 参数——数字很性感,但别读错了:复刻的是架构(MLA、MoE 负载均衡、多 token 预测),不是 671B 的 V3 本身。36M 的侦探小说模型证明的是 “设计思路可以被抄通”,不是 “训练大模型变便宜了”。真正的价值在另一头:架构透明到能被 190 行讲清楚,DeepSeek 开源的含金量就在这里。

发表回复