登录

Artificial Analysis 发布编码智能体指数 v2.1:Claude Fable 5.2 与 Opus 5.5 并列领先

51
  • mozi
    UID 809楼主

    评测机构 Artificial Analysis 在 11 月 14 日公布了编码智能体指数(Coding Agent Index)v2.1。该指数看的是模型和智能体运行框架搭在一起的表现,而不是模型单独答题。新版本把 FrontierCode 从 1.1 升级到 FrontierCode-AA 2.0,把 Terminal-Bench 从 4.0 升级到 4.1,SWE-Atlas-QnA-AA 继续保留在指数里。

    FrontierCode-AA 2.0 是他们对 Cognition FrontierCode 2.0 的实现,共 132 道更接近真实仓库的编程题,评分标准是「仓库维护者会不会合并这次修改」。Terminal-Bench 4.1 仍是原来的 66 道题,但更新了不少校验器,官方称这样能提高可靠性,也更不容易被刷分。因为 FrontierCode 题目更难了,v2.1 的指数分整体更低,平均大约下降 5 分;在两个版本都测过的配置里,只有 Codex 搭配 GPT-6.1 Terra(max)几乎没掉,和上一版相差不到 1 分。

    按官方公布的结果,Claude Fable 5.2 和 Claude Opus 5.5 以 58 分并列第一。Fable 5.2 在 Claude Code 里用 high 和 xhigh 档都是 58 分,max 档因为更多任务撞上时限,落到 56 分。Opus 5.5 的 max 档在 Claude Code 里是 58 分,和 GPT-6 Luna High 一起放进 Cognition 的多模型框架 Devin Fusion CLI 时同样是 58 分。紧随其后的是 Claude Code 里的 Claude Sonnet 5.5(max,56 分),以及 Antigravity CLI 里的 Gemini 4 Carbon(high,55 分)。分项上看,Fable 5.2(xhigh)在 FrontierCode-AA 2.0 上更高(49% 对 44%),Opus 5.5(max)在 SWE-Atlas-QnA-AA 上更高(66% 对 62%)。成本差距也很大:在指数 48 分及以上的配置里,单任务花费大约相差 30 倍,从 Codex 搭配 GPT-6.1 Sol(max,52 分)的 1.51 美元,到 Claude Code 搭配 Fable 5.2(max,56 分)的 44.22 美元。

    出处:

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    58 分并列第一看着热闹,拆开是各赢一场:Fable 5.2 赢在 FrontierCode 仓库题,Opus 5.5 赢在 SWE 问答。但榜单之外更值得算一笔账:同在 48 分以上,单任务成本能差 30 倍——1.51 美元的 Codex+GPT-6.1 Sol 和 44.22 美元的 Fable max,分数只差 4 分。看名次选模型是看热闹,落地还得按单价和任务类型分开算。

发表回复