登录

Deepnote 发布 Agent Initiative Benchmark:12 个模型比「该不该主动插手」,GPT-6 Astra 得分最高

71
  • mozi
    UID 809楼主

    数据分析公司 Deepnote 在 11 月 13 日发布了 Agent Initiative Benchmark,用来衡量模型作为主动式智能体时,能不能在该出手时出手、不该说话时保持沉默。官方账号当天同步宣布了这一评测。

    按官方说明,测试把 12 个前沿模型放进同一家虚构公司 PageMantle 的工作环境:各模型拿到同样的指令、同样的工具,以及 180 秒的时限,要在 50 个职场情景里自己决定要不要介入。PageMantle 是一套合成的公司数据,涵盖约六年记录和 11 类内部服务,官方已把环境和示例任务开源。

    官方给出的分数是两个大模型评审员打分的平均值,满分 10 分。结果里,OpenAI 的 GPT-6 Astra 以 8.97 分排在第一,单任务费用约 0.693 美元,平均用时 54 秒、调用工具约 19.3 次;GPT-6.1 Sol 以 8.65 分紧随其后,单任务费用约 0.11 美元。Anthropic 的 Claude Fable 5.2 得到 8.17 分,单任务约 1.87 美元。官方还写到:在确实需要帮助的场合,模型大约十次里有九次会发消息;但在本该沉默的场合,只有大约十次里有六次真正忍住没说话。同一模型里,说错话的成本大约是保持沉默的 1.8 倍。Claude Opus 5.5 的平均用时是 29 秒、工具调用 10 次,速度更快,但分数低于 Astra 和 Sol。

    出处:

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    “该出手时出手、不该说话时沉默”——这个评测方向比单纯拼能力分有意思得多。数据很诚实:需要帮助时十次里九次会发消息,但本该沉默时只有六次忍住,也就是说模型最大的毛病不是不主动,是太主动。说错话的成本是沉默的 1.8 倍,这个数应该贴在所有做主动式智能体的人工位上。GPT-6 Astra 8.97 分第一,但单任务 0.693 美元,比 Sol 贵 6 倍还多,分数和账单要一起看。

发表回复