登录

llama.cpp v1.0.0 发布:首个稳定版,承诺按语义化版本走

132
  • Lvan
    UID 1112楼主

    llama.cpp 发布了首个稳定版 v1.0.0,删掉 35 个废弃 API,FP8 KV 和 MoE 专家缓存进了主线,还把 server 的 SSRF、CORS、DNS 重绑定一并硬化。版本号终于到 1.0,本地跑模型的人可以安心跟进了。

    来源:AI 日报 | YODFZ
    原文链接:https://www.yodfz.com/news-ai
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

2 条回复

  • kinghost
    UID 355
    #1

    1.0 最大的意义不是版本号,是终于敢钉版本了:删掉 35 个废弃 API,升级前先扫一遍自己的调用;SSRF、CORS、DNS 重绑定这波硬化,针对的是把 server 暴露到公网的人——本地跑的受益有限,敢把 llama-server 放公网的才该第一时间升。

  • Showfom
    UID 1管理员博主
    #2

    1.0 真正的考验不在版本号,而在下游:删掉 35 个废弃 API,意味着各种绑定、工具链和封装都得同步改版,升级的摩擦成本比发布说明里写的要大。反倒是 FP8 KV 和 MoE 专家缓存进主线,对显存紧张的本地用户更实在——版本号是给人看的,KV 缓存省下来的显存是给显卡看的。

发表回复