登录

模型涨价、停用轮着来,真正的成本不在 token 单价

607
  • Opacity
    UID 617楼主

    最近三件事放在一起看,很有意思:

    1. Gemini 4 Argon 涨价:导入价到 11 月 30 日为止,12 月 1 日起输入 2→4 美元、输出 10→20 美元,直接翻倍,而且输出里包含思考 token。Argon 涨价帖
    2. GitHub Copilot 停用三款模型:Claude Opus 4.8、Opus 5、GPT-5.6 Terra 明天(11 月 16 日)就停,替代型号 "自动顶上",静默替换,不会报错。Copilot 停用帖
    3. Bug Hunt Bench:Gemini 4 Hydrogen 修 32.7/105 个 bug 只花 7 美元,看着便宜,但 36 分钟 vs GPT-6 Luna 99 分钟——时间才是账单的大头。Bug Hunt 帖

    三件事说的其实是同一件事:token 单价是模型成本里最小的一行。

    • 涨价一次,之前跑的基准、算的成本全得重算;
    • 模型一换,按旧模型脾气调的提示词和评测全得重测,而且静默替换连个报错都没有,只会觉得 "突然变笨了";
    • 修 bug 这类活,API 账单几美元,工程师等结果的时间才是真金白银。

    所以选模型的时候,只比 token 价是比错了地方。该比的是:价格变了你要花多久重算,模型换了你要花多久重测,跑一次你要等多久。

    你们现在是怎么选模型的?是按单价、按跑分,还是按 "换起来麻不麻烦"?

  • 收藏支持反对

7 条回复

  • Lvan
    UID 1112
    #1

    说到点子上了。token 单价就是菜单上的标价,真结账的时候才发现,换模型的迁移成本和干等结果的时间才是大头——静默替换那一下最阴,连个报错都不给,全靠人肉发现 “怎么突然变笨了”。我现在选模型基本先看能不能钉死版本,钉不死的再便宜也不敢当主力用,省下的 token 钱全贴到重测上去了。

  • mozi
    UID 809
    #2

    选模型时「换起来麻不麻烦」其实该排第一,但很多团队把这件事做成了反面教材:生产里写 latest 或者开着「跟随默认」,等于把切换权交给供应商。Copilot 那种静默顶上,麻烦的不是换模型,是你事先没钉死型号、也没有一套最小回归能在换完当天跑完。

    还有一层被单价表藏起来的账:思考 token 计在输出里。标价翻倍已经刺眼,真正打到账单上的往往更狠——一个「想很久才写出两段」的请求,输出费按思考长度收,你从价目表推出来的单次成本会整段偏离。模型一换,思考长度、拒绝率和重试次数一起变,账单和等待时间一起抖。

    我现在的做法比较土:核心工作流钉死模型 ID,切型号必须过自己的回归,而不是看官方建议替代或者默认自动顶上。跑分只能当入场券,Bug Hunt 那种三成修好率已经说明,它当不了验收标准。

  • uvexz
    UID 1158
    #3

    钉死版本这条我同意,但它防不住这次 Copilot 这种强制停用:Opus 4.8、Opus 5 明天就停,钉得再死也得换,回归还得重跑一遍。钉版本防的是悄悄换,防不住明着停。

    所以真正的兜底不是钉一个版本,而是手里常备第二套能跑的模型,而且这套备选得定期真跑过——从来没跑过的备选不叫备选,切换那天才发现提示词、结构化输出格式全是按主力模型的脾气写的。把提示词和评测从单一厂商的调用习惯上解耦,比钉死某个版本号更值钱。

  • mozi
    UID 809
    #4

    钉版本确实防不住这次 Copilot 这种按日停用。uvexz 说得对:备选得事先真跑过,切换当天才发现提示词和结构化输出全是按主力模型写的,那种备选等于没有。

    我想补一句:对 Copilot 这类宿主,逃逸口往往不在同一个产品里再钉一个型号——目录权在别人手里,备选得是另一条自己能控的路径,比如官方 API 或者另一套代理。另外,「把提示词和评测从单一厂商解耦」说起来轻,工具调用格式、结构化输出、思考 token 计费都不一样,备选也得有自己的回归集,不能拿同一份验收去套。

    常备第二套并且定期跑,这个方向对;只是别把「多申请了一个 API Key」当成已经做完解耦。

  • 抱头蹲
    UID 744 编辑于
    #5

    涨价表里还有一行容易被忽略,就是缓存命中的输入价

    前缀稳定的工作流实际涨得比标价少,每次重写 prompt 的才算翻倍

  • hi2hi
    UID 170
    #6

    别只记模型名和单价,还要记录实际模型 ID、思考档位、输出上限、工具调用次数和 usage 明细。默认参数变了,同一段脚本的账单也会变;没有这些记录,「换模型省钱」可能只是换了一种算不清的账。

  • 煤球大王
    UID 12612
    #7

    真正停不起的其实不是聊天模型,是 embedding 模型——它一停用,账要按整个语料库来算。

    聊天模型换代,代价是重调提示词、重跑回归,范围还在单次请求里。embedding 模型一旦停用或换代,向量维度和距离分布都变了,旧索引里的向量和新查询向量根本不在一个空间,只能把全部文档重新嵌入、重建索引,切换期间还得双写或维护两套索引并行比对。语料越大,这笔重建的算力、时间和检索回归成本越 dwarf 聊天侧那点迁移:原来的 recall 基线直接作废,因为新旧空间的分数不可比。

    所以选型时我会把两类模型分开记账:生成模型看单价和可钉版本,embedding 模型额外看三件事——原始文本有没有完整留存(只存向量、没存原文的,重嵌入都无从下手)、每条向量有没有记模型 ID 和版本、索引能不能按版本共存。做到这三条,embedding 停用只是一次计划内重建;做不到,它就是一次数据迁移事故。

发表回复