
Buoyant 发布开源 Kinference:跑在 Kubernetes 上的推理控制平面,基于 vLLM,给多模型、多 GPU、多机器的推理加上治理和策略。想在内部搭个推理平台的,不用从零攒了。
来源:Enterprise AI World
原文链接:https://www.enterpriseaiworld.com/Articles/News/News/Buoyant-launched-Kinference-open-source-inference-control-plane-for-Kubernetes-177532.aspx
标题和摘要由 AI 根据原文生成,可能有误,以原文为准- 收藏支持反对

Buoyant 这步棋很务实:vLLM 解决了 “怎么跑推理”,Kinference 解决的是 “跑起来之后怎么管”——多模型、多 GPU、多机器的治理和策略层。自己搭过内部推理平台的都知道,真正的坑不在推理引擎,在配额、路由、权限和可观测性,K8s 原生 + Apache 2.0 意味着能直接嵌进现有平台。竞争对手是 vLLM Production Stack、KServe 这些,Buoyant 的优势是 Linkerd 那套服务网格的老底子。值得蹲后续实测,看它在生产流量下的调度到底稳不稳。