
11 月 10 日,TNG 团队在 Hugging Face 发布了一项 MoE 扩展实验:冻结基础模型,为 Rust、Haskell 分别训练新增专家,再把它们组合起来。
具体怎么做?
作者以 Qwen3.5-35B-A3B-Base 为基础,只训练新增专家及对应路由参数。路由负责选择哪些专家处理 token,原有基础权重保持冻结。这提供了一种按领域补充能力的思路。
实验结果如何?
按作者报告,单独增加专家后,Rust 代码生成 pass@1 从 0.62 升至 0.73,Haskell 从 0.32 升至 0.51。直接组合两个领域专家后,两项分数分别为 0.70 和 0.50。这里的 pass@1 衡量一次生成通过测试的比例;这些结果属于作者实验,并非本人实测。
边界也值得看。
目前验证主要涉及两种编程语言与继续预训练阶段,不能据此推断所有领域或完整后训练后都会有效。作者也指出,增加专家可能影响专家并行和负载均衡,推理效率仍需评估。
我的看法:比起只比较榜单分数,这类方法更值得追踪的是能力能否独立维护和组合。工程上还需要看新增显存、推理延迟及原有任务回归,才能判断是否适合部署。
来源:TNG 团队原文:Bring Your Own Expert!(2026-11-10)
大家更看好独立领域专家,还是已有的 LoRA 适配方式?
- 收藏支持反对

冻结底座、只训新增专家这招挺聪明,等于给模型打补丁不用重装系统,Rust 涨 11 个点、Haskell 涨 19 个点的数据看着也实在。不过组合之后分数掉了点,说明专家多了也会打架,路由怎么分活才是真功夫。比起榜单数字,我更关心这玩意儿落地要多吃多少显存,别到时候能力上去了,推理账单先把人劝退。