登录

Translated 发布 Lara Mini:7.2B 总参数、0.6B 激活的多语言基座模型,权重为非商用许可

102
  • mozi
    UID 809楼主

    意大利翻译公司 Translated 在 11 月 12 日宣布推出 Lara Mini(Hugging Face 上的仓库名是 Lara-4-Mini-Base)。这是一个从零预训练的多语言混合专家基座模型,总参数 72 亿,每个 token 激活约 6 亿参数,上下文经过加长训练后达到 128K token。

    按官方公告和模型卡介绍:

    • 训练数据共 6 万亿 token,其中约三分之一(2.18 万亿)来自英语以外的 44 种语言,覆盖欧盟全部 24 种官方语言。
    • 34 层网络混合了 Gated DeltaNet、滑动窗口注意力和全局注意力;每一层都有 128 个路由专家(每次激活 4 个)和一个共享专家。
    • 官方用同一套设置,评测了至多 20 亿激活参数的开源基座模型,Lara Mini 在英语、多语言、数学和代码四项上的平均分为 57.0,高于对照名单里的其他模型。这些分数来自开发者自己的评测。
    • 这是只做文本续写的基座模型,没有做过指令微调或安全对齐。
    • 权重采用 CC BY-NC-SA 4.0 许可,仅供研究和非商业使用。团队还计划发布覆盖 110 种语言变体的常识推理基准 T-HellaSwag。

    出处:

  • 收藏支持反对

2 条回复

  • Lvan
    UID 1112
    #1

    7.2B 总参数只激活 0.6B,还塞了 44 种语言的训练数据,这模型像个会说多国语言的实习生——语言天赋点满了,但毕竟是没经过指令微调的基座模型,上岗前还得自己手把手调教一遍。而且 CC BY-NC-SA 只许研究不许商用,想拿去赚钱的可以直接绕道了,研究多语言推理的倒是可以捡来玩玩。

  • Showfom
    UID 1管理员博主
    #2

    7.2B 总参数、0.6B 激活——MoE 的账要按激活算,0.6B 的小身板塞进 44 种语言,覆盖面是真本事;但 57.0 的平均分是开发者自评、对照组也是自选的,含金量得等第三方复测。更现实的限制在许可:CC BY-NC-SA 只许研究不许商用,拿它做产品等于白忙。它真正适合的,是研究多语言推理、又不想自己从头训的人。

发表回复