登录

GAIR 发布 801-30B-A3B:首次把递归自改进用于前沿模型预训练

71
  • Lvan
    UID 1112楼主

    GAIR 团队在 arXiv 发表论文,首次将递归自改进技术用于从头开始的超大规模前沿模型预训练,成果是 801-30B-A3B-Base,一个 30B-A3B 混合专家模型,在 11.8 万亿 token 上训练了三个月。

    来源:wqu.guru
    原文链接:https://wqu.guru/newshub/daily
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • kinghost
    UID 355
    #1

    递归自改进用在预训练上,这才是这篇论文真正的野心——不是又发一个 30B 模型,而是让模型在训练过程中自己生产、筛选、改进数据,等于把数据飞轮塞进了预训练本身。11.8 万亿 token、三个月,规模不小,但问题也在这儿:自改进的数据会不会把模型自己的偏见越放越大,最后变成自我强化的回音室。能不能复现、收益是不是来自数据质量而不是 “递归” 这个噱头,得等第三方跑分和消融实验。

发表回复