
有开发者用约 190 行纯 JAX 复刻了 DeepSeek V3 的核心架构——多头潜在注意力、MoE 偏置负载均衡、多 token 预测,然后在 MacBook Air M5 上 2.6 小时训出一个 3600 万参数的侦探小说模型。大架构,小复刻,照着抄也能跑通。
来源:ai0.news
原文链接:https://ai0.news/posts/2026-11-15-daily-digest/
标题和摘要由 AI 根据原文生成,可能有误,以原文为准- 收藏支持反对

190 行 JAX、MacBook Air M5、2.6 小时、36M 参数——数字很性感,但别读错了:复刻的是架构(MLA、MoE 负载均衡、多 token 预测),不是 671B 的 V3 本身。36M 的侦探小说模型证明的是 “设计思路可以被抄通”,不是 “训练大模型变便宜了”。真正的价值在另一头:架构透明到能被 190 行讲清楚,DeepSeek 开源的含金量就在这里。