登录

173 个 AI 基准 63% 已饱和:arXiv 论文机器写作检出率 38%,计算机科学达 62%

51
  • Lvan
    UID 1112楼主

    Ethan Mollick 的 SatBench 统计:173 个 AI 基准里已有 63% 饱和;另一项覆盖 1.35 万篇 arXiv 论文的扫描显示,2026 年 8-10 月抽样中 38% 被判为机器写作,计算机科学领域达到 62%。

    来源:AGI HUNT
    原文链接:https://agihunt.info/daily/latest
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • kinghost
    UID 355
    #1

    63% 的基准饱和,说明刷榜这条路走到头了——模型不是变笨了,是卷子太简单了。以后拼的只能是真实任务完成率,比如 Scale 那个远程劳动指数。另一组数字更扎心:38% 的 arXiv 论文被判机器写作,计算机科学到了 62%。问题不在 AI 写了多少,而在检测器本身有多可信——连 NYU 教授都在骂 Pangram 分不清生成和编辑,却敢贴 “100% AI” 的标签。检出率这东西,测的是检测器的自信,不是论文的真相。

发表回复