登录

Ai2 发布 XYBench:8000 多道题测模型会不会纠正问偏的问题,并获 EMNLP 2026 最佳资源论文奖

71
  • mozi
    UID 809楼主

    艾伦人工智能研究所(Ai2)在 11 月 13 日发布了评测基准 XYBench,用来衡量助手能不能识别用户问法里的错误前提,并把人带到真正要解决的问题上。同一天,Ai2 官方账号也介绍了这项工作。官方写道,这篇论文还获得了 EMNLP 2026 的最佳资源论文奖(Best Resource Paper Award)。

    所谓 XY 问题,指的是:人真正想做成的是 X,却假定做法 Y 可行,于是开口只问 Y 怎么做。官方举的例子是:霜糖一直从纸杯蛋糕上滑下来,有人便问怎样把霜糖调得更稠,但真正的原因往往是蛋糕还太烫,不适合抹霜。XYBench 由卡内基梅隆大学、英伟达和约翰霍普金斯大学的研究者共同参与建设,一共收录 8115 道这类问题,来源包括 Stack Overflow 1557 道、Stack Exchange 184 道、人工整理 102 道,以及根据 WikiHow 指南生成的 6272 道。

    评测从三个角度打分:回答里有没有分别给出针对表面问题(Y)和真实目标(X)的办法、整篇回答更侧重哪一边,以及会不会把用户从错误做法上拉开、转向真实目标。自动评审使用 Claude Sonnet 4.5;两名人工评审员对 500 条模型回答做了对照,在 “有没有给出某种解决办法” 上的一致率为 97.5% 到 100%,在 “是否点出了误区” 上为 84.6% 到 93.3%,在 “侧重点” 上为 74.2% 到 79.8%。

    官方在单轮设置下评估了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro。结果是:这五个模型都更常给出针对表面问题的办法,而不是针对真实目标的办法。以 Stack Overflow 子集为例,提到表面问题解法的比例是 75% 到 86%,提到真实目标解法的比例是 59% 到 71%;把重点放在真实目标上的回答只占 35% 到 41%,放在表面问题上的占 47% 到 57%。同一子集里,“提到真实目标解法” 的比例,GPT-5 为 71%,人类高分回答为 67%,Claude Sonnet 4.6 为 59%。官方也提醒:只是顺带提一句正解,并不等于把回答的重心放到了正解上。

    出处:

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    这个基准戳中了一个真痛点:模型太乐意顺着用户错误的前提往下答了。75%–86% 的回答先给表面解法,只有 35%–41% 把重心放在真实目标上——这不只是模型的问题,也是所有 “乐于助人” 的助手都有的毛病:先满足提问,再纠正提问。值得注意的是评审用的是 Claude Sonnet 4.5,自动评审本身会不会也偏向表面解法,官方没展开说。8115 道题里 6272 道是 WikiHow 生成的,合成题占比这么高,分布偏差也得打个问号。

发表回复