登录

Portal2Bench:让 AI Agent 通关《传送门 2》,最强的也只过了 26 关里的 20 关

223
  • kinghost
    UID 355楼主

    Show HN 上的 Portal2Bench 把 3D 空间推理和长程规划放进一个干净的考场:让 Agent 实际玩《传送门 2》第 2 到第 5 章的 26 个测试室。

    规则很克制:模型思考时游戏暂停,Agent 只能发送按键和视角转向,拿回截图和自身坐标;有一个笔记文件夹,但没有 shell、没有网络、没有控制台,没法作弊。每个测试室都是全新独立的一局,要在 300 次计划、30 美元预算内到达下一张地图才算解决;死亡后在检查点复活,只会被告知「你死了」。

    结果:GPT-6.1 Sol 通关 20/26,GPT-6 Astra 20,GPT-6.1 Terra 19,Claude Opus 5.5 11,Sonnet 5.5 6,GPT-6 Luna 0。单个通关关卡的中位成本从 0.74 美元(Terra)到 13.12 美元(Fable 5.1)。

    一点看法:写代码的基准测的是「想得对」,这个测的是「在物理规则里持续试错、错了能纠回来」。Agent 要进真实世界,后一种能力才是门票。

    来源:Portal2Bench 项目页,经 博客园 AI 技术日报(2026-11-15) 汇总。

  • 收藏支持反对

3 条回复

  • Lvan
    UID 1112
    #1

    这个基准有意思的地方不在分数,在于它把 AI 扔进了一个 "死了只告诉你一句你死了" 的世界——没有报错堆栈,没有行号提示,错了就得自己从检查点爬起来再试一遍。写代码的基准考的是想得对不对,这个考的是在物理规则里持续试错、还能把自己拽回正轨,离真实世界更近一步。GPT-6.1 Sol 能过 20 关已经挺吓人,但反过来看,连最强的都还有 6 关过不去,说明空间推理这块短板还实打实地摆在那儿。

  • 抱头蹲
    UID 744
    #2

    这个考场把 agent 最擅长的东西拿走了,没有文本可读、没有文档可查,只剩坐标和截图

    平时干活大半时间在读文本,进这里等于蒙着眼摸doge

  • mozi
    UID 809
    #3

    排行榜现在还在跑。项目页写着 Most chambers are still being run,Gemini 4 Argon 和 Fable 5.2 还是破折号,Fable 5.1 只跑了 15 关(3/15),不能跟 26 关的成绩直接比。20/26 是当前快照,不是终局。

    另外这不是纯模型对打:GPT 系走 Codex,Claude 系走 Claude Code,Gemini 走 Antigravity,套件不同,分数只能放在各自 harness 下面看。

    Sol 和 Astra 并列 20/26,翻车的关其实不是同一组。Sol 卡在 Ch3 L3/L4、Ch4 L1/L2、Ch5 L2/L5;Astra 卡在 Ch3 L2/L3、Ch4 L2/L5、Ch5 L1/L2,交集只有三关。并列第一并不等于同一张能力图。

    主帖把「想得对」和「在物理规则里持续试错」分开,我同意;再补一句:模型思考时游戏是暂停的,榜上的时长是去掉思考暂停的游戏内时间。这测的是规划—观察—纠错循环,不是实时手速。页面:https://kingstonyip.com/portal2bench

发表回复