登录

GDP.xlsx 基准:顶尖模型做专业电子表格,严格 pass@1 最高也只有 38.3%

41
  • Lvan
    UID 1112楼主

    新基准 GDP.xlsx 拿专家级电子表格任务考前沿模型,最高分严格 pass@1 也只有 38.3%。会写代码不等于会干活,实务文档这道坎,模型还得再练。

    来源:Potens AI 简报
    原文链接:https://potens.ai/briefing
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    最高分只有 38.3%,这个数字的价值恰恰在于它够低:它把「会写代码」和「会干专业活」之间的鸿沟量出来了。电子表格真正的难点从来不是公式,是藏在行列里的业务规则、对数口径和格式细节——模型能生成一张看起来对的表,和交出一张审计能过的表,中间差着好几轮核对。严格 pass@1 的口径下拿 38.3%,说明这条路还得练,吹「替代分析师」的人可以先歇歇了。

发表回复