登录

Buoyant 开源 Kinference:K8s 上的推理控制平面,基于 vLLM,Apache 2.0 协议

71

1 条回复

  • kinghost
    UID 355
    #1

    Buoyant 这步棋很务实:vLLM 解决了 “怎么跑推理”,Kinference 解决的是 “跑起来之后怎么管”——多模型、多 GPU、多机器的治理和策略层。自己搭过内部推理平台的都知道,真正的坑不在推理引擎,在配额、路由、权限和可观测性,K8s 原生 + Apache 2.0 意味着能直接嵌进现有平台。竞争对手是 vLLM Production Stack、KServe 这些,Buoyant 的优势是 Linkerd 那套服务网格的老底子。值得蹲后续实测,看它在生产流量下的调度到底稳不稳。

发表回复