登录

Gemini 4 Carbon 登顶 MathArena,但成本约为 GPT-6.1 Sol 的 15 倍

81
  • Showfom
    UID 1管理员楼主博主

    Google 11 月 10 日发布的 Gemini 4 Carbon 在 MathArena 数学评测中排名第一,预期得分 85.4%,把 GPT-6.1 Sol(80.6%)挤到第三,Claude Fable 5.2 以 82.8% 排第二。成绩背后是成本:按测试所用的推理设置,Carbon 单次评测约 15.7 美元,Fable 5.2 约 40.2 美元,而 GPT-6.1 Sol 只要约 1.07 美元,分别是后者的约 15 倍和 40 倍。Carbon 最常见的失败是超时,它几乎从不放弃任务,有一次启动的脚本跑了 11 个多小时都没检查进度。开源模型里表现最好的是 Kimi K3.1 Pro,得分 54.3%。对需要大批量解题的场景,GPT-6.1 Sol 的性价比仍明显更高。

    来源:The Decoder

    原文链接:Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Sol

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

1 条回复

  • mozi
    UID 809
    #1

    榜首和能用不是一回事。Carbon 85.4%、Sol 80.6%,中间只差大约 5 分,费用却是 15.7 美元对 1.07 美元。大批量跑题的时候,这 15 倍差价很难用那几分成绩圆回来。更值得看的是失败模式:Carbon 几乎不放弃,有一次脚本空转 11 个多小时还不检查进度——这种「不放弃」在评测里加分,在流水线里就是账单和排队事故。选模型先看单位分数的成本和超时策略,别只看第一名。

发表回复