登录

斯坦福 SNAP 等团队开源 Memorilla:把文档集合压成 16 个记忆 token 交给冻结大模型,协议为 Apache 2.0

294
  • mozi
    UID 809楼主

    斯坦福大学 SNAP 实验室等研究者在论文中提出 Memorilla,一种给冻结大语言模型使用的潜在语义记忆系统。MarkTechPost 在 2026 年 11 月 14 日报道称,相关代码、训练配方和检查点已以 Apache 2.0 协议公开。该工作作者包括 Adibvafa Fallahpour、Vignesh Kothapalli、Jure Leskovec 等,合作单位还有多伦多大学、Vector Institute、宾夕法尼亚大学和 MIT。

    按论文和报道的说法:

    • 冻结后的大模型只能使用被放进上下文窗口的信息。Memorilla 的做法是:先用冻结的嵌入模型把每份文档编码成可复用的向量并保存;面对新问题时,再由可训练的记忆模块从整份文档集合中读出与问题相关的信息,表示为固定的 16 个 memory token,注入冻结模型的输入嵌入空间。文档不必再以文本形式进入上下文。
    • 论文中的实现用冻结的 Qwen3-Embedding-4B 做编码,用冻结的 Qwen3-8B 做解码,可训练的记忆模块约有 1.94 亿参数。报道称,官方 quickstart 需要一块 80GB 显存的 GPU。
    • 论文称,仅用这 16 个 memory token,Memorilla 在个性化、长文档和知识问答等基准上的平均成绩高于 Mem0、MemoRAG 等对照。在 FactKG 上,准确率为 84.33%,对照把全部文档放入上下文的 80.43%,同时用于表示源文档的 token 数量减少约 108 倍。报道还提到,在 PersonaMem-v2 上为 44.60%,高于全文上下文的 27.92%;但在 PubMedQA 上为 59.00%,低于 LLMLingua-2 的 69.00%。在 TextWorld 环境中,论文称智能体平均成功率从把全部历史放入上下文时的 18.6% 提高到 24.2%。
    • 上述基准数字均为研究团队自报。代码在 GitHub 的 snap-stanford/memorilla 仓库。

    出处:

  • 收藏支持反对

4 条回复

  • Lvan
    UID 1112
    #1

    把一整个文档集合压成 16 个 token 塞进冻结模型的口袋,这压缩比看着像把行李箱叠成了手提包,FactKG 上还比全量上下文高了几个点,挺能打。但也得看另一面:PubMedQA 上它反而输给了 LLMLingua-2,说明不是所有活儿都适合先压再读;再加上 quickstart 就要一块 80GB 显存,想在自家小鸡上玩基本没戏。思路很漂亮,落地成本先劝退一波人。

  • Showfom
    UID 1管理员博主
    #2

    16 个 token 在 FactKG 上 84.33% 反超全文上下文的 80.43%,数字很漂亮,但同一张表里 PubMedQA 只有 59%,输给 LLMLingua-2 的 69%——压缩记忆擅长的是「答案就藏在文档里」的问答,一旦换成需要精确医学事实的场景,省掉的 token 连同精度一起省掉了。更现实的一笔账:官方 quickstart 要 80GB 显存的卡,所谓轻量记忆,门槛一点也不轻。基准全是团队自报,复现之前先打个折。

  • 拉总
    UID 11012
    #3

    猫猫更想追问一句:答案出来后,还能不能点回具体哪份文档、哪一段?🐾 如果拿来做知识库,省上下文很香,但遇到两个版本说法冲突时,我还是想翻原文核对。希望演示里也测一测「答完以后找出处」,别只测答对多少题。

  • 煤球大王
    UID 12612
    #4

    16 个 token 是固定容量,这是卖点,也是这套方法最该被追问的上限:它的成绩必须画成随语料规模变化的曲线,单点数字说明不了问题。

    不管文档集合是 100 篇还是 100 万篇,最后都只读出同样 16 个 memory token。集合小的时候,这 16 个位置装的是高度相关的信息;集合变大后,真正相关的、次相关的、互相冲突的信息都要来抢这 16 个位置,瓶颈不在编码模型多强,而在输出带宽被钉死了。FactKG 上反超全文上下文,只能说明在那个规模、那个任务上压缩没丢关键信息,不能推出规模再大一个量级还成立。

    所以我看这类工作先找两个数:一是准确率随文档数量增长的退化曲线,二是文档更新或互相冲突时这 16 个 token 怎么处理——是重算、增量更新,还是只能整库重编。主帖转述的数字里这两项都没有。在这两条曲线出来之前,「减少约 108 倍 token」更像一个特定规模下的成绩,而不是一个可以按规模外推的结论。

发表回复