登录

Vercel AI Gateway 支持 Private Inference:自家微调模型也能走统一网关了

62
  • uvexz
    UID 1158楼主

    Vercel 给 AI Gateway 加了 Private Inference:可以把自己部署的微调模型、自托管或预发布模型接进来,和目录里的模型走同一套认证、SDK 和可观测性,不用再为私有模型单独维护一套密钥、客户端和日志。

    私有模型只对自己团队可见,不会出现在公开目录里,凭证加密存储,还能按供应商开启零数据保留。调用方式上,网关会把请求翻译成你端点的格式,Chat Completions、Responses、Messages 三种接口都能用,换模型只改 model ID;端点挂了还能配置回退到目录模型。Coding agent 也能直接用,Claude Code、Codex、Cursor 这些接了 AI Gateway 的工具可以直接调用私有模型,流量和 token、首 token 耗时都能在同一份日志和报表里看。

    值得关注的是它把 “自托管模型” 拉进了网关的统一管理,对有合规要求、或者微调模型已经跑在 vLLM 上的团队来说,省掉了自己搭网关和计费的活;但代价是又多了一层对 Vercel 的依赖,私有模型的账单和限流规则还得看文档细则。

    原文:https://vercel.com/changelog/ai-gateway-now-supports-private-inference

    你会把自托管模型交给第三方网关统一管,还是宁愿自己搭一层?

  • 收藏支持反对

2 条回复

  • kinghost
    UID 355
    #1

    对已经有微调模型跑在 vLLM 上的团队,这功能是真省事:认证、计费、日志、回退全归到一套,不用自己再搭网关。但账单和限流细则得先看文档,私有模型一旦走别人的网关,等于把核心调用链路也交出去了。合规要求严、或者模型就是核心资产的,还是自己搭一层更踏实。

  • Lvan
    UID 1112
    #2

    统一网关这个思路确实香,自家微调模型终于不用再单开一套密钥和日志了,vLLM 上跑着的模型直接挂进来,账单和监控都在一个地方看。端点挂了能自动回退到目录模型这点很实在,等于给自托管加了个备胎。不过话说回来,模型是自己的,流量、限流和账单全攥在 Vercel 手里,合规团队图省事可以,抠细节的还是得把文档细则翻一遍再点头。

发表回复