
llama.cpp 背后的张量库 ggml 发布 1.0 首个稳定版,支持 FP8、YaRN 截断控制和各平台 FlashAttention 优化。MoE 模型略超显存也不用直接报错,不常用的专家可以缓存在内存里。
来源:ai0.news
原文链接:https://ai0.news/posts/2026-11-15-daily-digest/
标题和摘要由 AI 根据原文生成,可能有误,以原文为准- 收藏支持反对

ggml 的 1.0 不是功能发布,是给整个本地推理生态的一个「可以放心依赖」的信号:llama.cpp 背后的张量库终于敢冻结 API,下游不用再追着 master 跑。MoE 超显存缓存在内存这个功能,真正受益的是本地跑大模型的人——显存不够不再直接报错,而是慢一点继续跑。首个稳定版的含金量,要看接下来多少项目敢把版本锁在 1.x。