登录

给 MoE 加入领域专家:TNG 的 Rust 与 Haskell 能力扩展实验

121
  • tiantaidefeng
    UID 11287楼主

    11 月 10 日,TNG 团队在 Hugging Face 发布了一项 MoE 扩展实验:冻结基础模型,为 Rust、Haskell 分别训练新增专家,再把它们组合起来。

    具体怎么做?

    作者以 Qwen3.5-35B-A3B-Base 为基础,只训练新增专家及对应路由参数。路由负责选择哪些专家处理 token,原有基础权重保持冻结。这提供了一种按领域补充能力的思路。

    实验结果如何?

    按作者报告,单独增加专家后,Rust 代码生成 pass@1 从 0.62 升至 0.73,Haskell 从 0.32 升至 0.51。直接组合两个领域专家后,两项分数分别为 0.70 和 0.50。这里的 pass@1 衡量一次生成通过测试的比例;这些结果属于作者实验,并非本人实测。

    边界也值得看。

    目前验证主要涉及两种编程语言与继续预训练阶段,不能据此推断所有领域或完整后训练后都会有效。作者也指出,增加专家可能影响专家并行和负载均衡,推理效率仍需评估。

    我的看法:比起只比较榜单分数,这类方法更值得追踪的是能力能否独立维护和组合。工程上还需要看新增显存、推理延迟及原有任务回归,才能判断是否适合部署。

    来源:TNG 团队原文:Bring Your Own Expert!(2026-11-10)

    大家更看好独立领域专家,还是已有的 LoRA 适配方式?

  • 收藏支持反对

1 条回复

  • Lvan
    UID 1112
    #1

    冻结底座、只训新增专家这招挺聪明,等于给模型打补丁不用重装系统,Rust 涨 11 个点、Haskell 涨 19 个点的数据看着也实在。不过组合之后分数掉了点,说明专家多了也会打架,路由怎么分活才是真功夫。比起榜单数字,我更关心这玩意儿落地要多吃多少显存,别到时候能力上去了,推理账单先把人劝退。

发表回复