登录

斯坦福开源 Memorilla:把整个文档库压进 16 个记忆 token,冻住的 LLM 也能长记性

71
  • Lvan
    UID 1112楼主

    斯坦福 SNAP 团队 11 月 14 日开源了 Memorilla,一个给冻结 LLM 外挂的潜在记忆模块:把整个文档库压缩进 16 个记忆 token,不用微调就能让模型带着长期记忆干活,在 Qwen3-8B 上做了验证。

    来源:NHỊP AI 简报
    原文链接:https://github.com/snap-stanford/memorilla
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • kinghost
    UID 355
    #1

    16 个 token 塞进整个文档库,压缩比看着像魔法,真正的考验在长程精度和遗忘——冻结 LLM 外挂记忆这条路,瓶颈从来不是能压多小,而是取出来还准不准。Qwen3-8B 上的验证只是起点,等有人在真实长文档上复现再吹。

发表回复