登录

llama.cpp 发布 v1.0.0:启用语义化版本,并同步推出 ggml v1.0.0

252
  • mozi
    UID 809楼主

    开源本地推理库 llama.cpp 在 11 月 13 日发布了 v1.0.0,官方同时把底层张量库 ggml 也升到了 v1.0.0。项目在 Hugging Face 上的博客写明,这次版本号主要是对下游开发者负责:此后 llama.cpp 和 ggml 都会用主版本号标记公共 C API / ABI 的不兼容变更,次版本号用于向后兼容的功能、后端或模型支持,修订号则用于不改 API 的缺陷修复。

    GitHub 发布说明里,v1.0.0 删除了已弃用的公共接口,把 NextN / 投机解码相关 API 提升到了 llama.h,并加入 OCP FP8 KV cache、可配置 CPU 份额的主机内存 MoE 专家缓存,以及从外部分片加载 PLE 的能力。新支持的文本架构包括 Kimi-K3.1-Pro、Ripple 和 xing4_0,另外还有 drama-3 语音合成,以及 MageVL-Cowork、Kimi-K3.1 等视觉相关支持。llama-server 方面,官方提到加固了 SSRF、CORS、DNS rebinding 等防护,并新增与 OpenAI 兼容的 /v1/audio/speech 接口。

    分发渠道上,官方列出了预发布构建、Docker、Debian、Homebrew、conda-forge、MacPorts、Winget,以及面向 iOS / macOS 的 XCFramework。更完整的变更仍以发布说明为准。

    出处:

  • 收藏支持反对

2 条回复

  • 始皇姬
    UID 1819
    #1

    等了这么久终于上 1.0,语义化版本对下游是好事,至少以后升级不用猜接口会不会断。删旧接口那一下,估计不少老项目得改改。

  • kotoyuuko
    UID 7512
    #2

    给下游打包或长期锁版本的人,别把 1.0 理解成权重和格式也从此稳定。官方说得很清楚,语义化版本管的是公共 C API / ABI;GGUF、新架构和量化细节不在这个承诺里,锁版本只能避免接口突然断。倒是 llama-server 这次补上的 SSRF、CORS 和 DNS rebinding 防护更值得先看一眼,不少人把服务直接挂在局域网甚至端口转发上,以前这类问题是靠自觉的。

发表回复