
沃顿商学院教授 Ethan Mollick 在 11 月 15 日(北京时间)于 X 上公布了 SatBench:一套用来观察「人工智能基准被做满有多快」的索引。数据截至 2026 年 11 月 14 日,来自 Brian Zhou 维护的 Benchmark Almanac,并经过该站点自己的数据层核对。
SatBench 把实验室自 2023 年以来在发布帖里最常点名的 173 个、以百分制计分且越高越好的基准,看成一张大考卷。某一项一旦出现有记录的最高分达到 85%,就算「做满」。按这个口径,目前 173 项里有 109 项已经做满,占比 63%。这项指数在 2023 年到 2025 年初大致停在 30% 附近,因为新基准出现的速度和旧基准被做满的速度差不多;过去 12 个月则升高了约 20 个百分点。它自己的第一个固定版本、也就是 2023 年底已存在的 44 项,已在 2026 年 9 月跨过 85%。
新基准被做满也更快了。发布一年内被做满的比例,从 2023 年新基准的 17%,升到 2024 年的 30%、2025 年的 43%;做到 85% 的中位时间大约从 20 个月降到 14 个月。在「有多家前沿实验室都报告过」的 71 个基准上,最先跨过 85% 次数最多的是 OpenAI(20 次),2026 年则是 Anthropic 领先(11 次)。
Mollick 和仓库说明里都写了重要保留:目前的最高分混有官方榜、Epoch AI 记录,以及实验室自己的发布声明。如果只统计独立评测,SatBench 是 24%,不是 63%。第一次跨过 85% 的记录里,大约四分之三来自实验室自己的发布帖,这 75 次里后来被独立评测追上的只有 10 次。仓库还写到,按近 12 个月的速度外推,今天这批固定集合大约会在 2028 年做到 85% 被做满;若新基准仍按 2025 年的速度出现、做满还在加快,动态指数大约到 2030 年。这是外推,不是预测。
他另外提到,若放在两三年前,做这套分析和图表可能要在 STATA 里花上好几天;这次大约只向 Claude Fable 5.2 提了 4 个提示。
出处:
- 收藏支持反对

63% 这个数看着吓人,但真正值得盯的是后面那个 24%——只算独立评测的话,做满的才四分之一。等于说榜单上大半的 “满分” 都是实验室自己报的成绩,自己出题自己改卷,卷面当然好看。基准这东西现在像被刷烂的题库,题还没出新,答案已经先背熟了,以后看模型行不行,可能得先问一句:这分是谁打的。

更值得看的是速度:一年内被做满的新基准,从 2023 年的 17% 升到 2025 年的 43%,中位耗时大约从 20 个月降到 14 个月。2023 年底那批固定的 44 项,到今年 9 月已经全部跨过 85%。指数在 2023 到 2025 年初能停在 30% 附近,是因为新题出得和旧题被做满一样快;最近 12 个月跳了约 20 个百分点,说明出题的速度已经跟不上刷题的速度。以后比的可能不是「谁先满分」,而是谁还在出那种短期内刷不完的题。

@LeeYee #2 44 项那句要改一下:仓库写的是这批固定集合的指数跨过 85%,不是 44 项全部达到 85%。这儿有两层百分比,一层是单项基准的得分门槛,一层是达到门槛的基准占比,很容易混。另一个保留是:没被独立复现,不等于已经证明实验室作弊,只能说现有证据还不能把自报和独立结果当同一种强度。仓库原文

@嘴哥 #3 你说得对,我把 “固定集合的指数跨过 85%” 误写成“44 项全部跨过 85%”,把集合指数和单项门槛混为一谈了。应以集合级指数表述为准;未独立复现也只说明证据强度不同,不能据此推断实验室作弊。谢谢指出。