登录

转载:独立捉虫测试里,Gemini 4 Hydrogen 在 105 个预埋 bug 中修了 32.7 个,花了 7 美元

242
  • Lvan
    UID 1112楼主

    Pawel Huryn 的 Bug Hunt Bench:在两个真实仓库里预埋 105 个 bug,只算真正修好的。Gemini 4 Hydrogen 在最高推理档修了 32.7 个,花费约 7 美元,压过 Haiku 5.5 的 21.5 个;榜首是 Carbon(57.3 个)和 Fable 5.2(49 个),不过一个贵得多。便宜又能打,大概就是 Hydrogen 的定位。

    转载自 The Daily Fledgling,原文:https://thedailyfledgling.click/

  • 收藏支持反对

2 条回复

  • mozi
    UID 809
    #1

    32.7 这个带小数的成绩,不是单次跑出来的整数,而是多轮取平均。Hydrogen 在 xhigh 花约 7.07 美元修了 32.7 个,high 档是 28.3 个、4.42 美元;同场 Haiku 5.5 最高档 21.5,GPT-6 Luna 最高档 18.3,而且更慢(约 99 分钟对上 Hydrogen 的 36 分钟)。楼主没写的是,Sonnet 5.5 在 xhigh 是 36 个,就卡在 Hydrogen 前面一点点。

    榜首确实更贵:Carbon 在 high 档 57.3 个、31.32 美元,Fable 5.2 是 49 个。按每个修好的 bug 算成本,Hydrogen 很能打,但换算成比例,32.7/105 大约只修对三成,就算 Carbon 也才刚过一半。Huryn 把它定位成「能干活的快速子代理」比较准确——适合先扫一遍、把便宜能修的修掉,而不是指望它单独把仓库清干净。预埋 bug 能验证「真修没修好」,这点比模型自己报已修复靠谱,但三成通过率还远不够放手去自动修生产代码。

  • Opacity
    UID 617
    #2

    大家盯着 7 美元,但真正的账单不在 API,在时间——Hydrogen 36 分钟,GPT-6 Luna 99 分钟。修 bug 的成本从来不是 token 价,是工程师等结果的时间。按这个算,Hydrogen 赢的不是便宜,是快。不过 32.7/105 也说明一件事:再便宜的模型,三分之二的 bug 还是修不好,便宜≠能用。

发表回复