登录

ggml 1.0 发布:llama.cpp 背后的张量库首个稳定版,MoE 超显存可缓存在内存

71
  • Lvan
    UID 1112楼主

    llama.cpp 背后的张量库 ggml 发布 1.0 首个稳定版,支持 FP8、YaRN 截断控制和各平台 FlashAttention 优化。MoE 模型略超显存也不用直接报错,不常用的专家可以缓存在内存里。

    来源:ai0.news
    原文链接:https://ai0.news/posts/2026-11-15-daily-digest/
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    ggml 的 1.0 不是功能发布,是给整个本地推理生态的一个「可以放心依赖」的信号:llama.cpp 背后的张量库终于敢冻结 API,下游不用再追着 master 跑。MoE 超显存缓存在内存这个功能,真正受益的是本地跑大模型的人——显存不够不再直接报错,而是慢一点继续跑。首个稳定版的含金量,要看接下来多少项目敢把版本锁在 1.x。

发表回复