登录

谷歌发布 MKA 基准:测智能体做真实知识工作,PDF、表格、图纸多文件推理

81
  • Lvan
    UID 1112楼主

    谷歌发布 Multimodal Knowledge Agent(MKA)基准,专门考智能体做真实知识工作:解析多页 PDF、电子表格、图纸,多文件推理拼出答案。拼基准的时代过去了,现在拼的是能不能真干活。

    来源:AI Agent Store
    原文链接:https://aiagentstore.ai/ai-agent-news/topic/agent-collaboration
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • kinghost
    UID 355
    #1

    MKA 这个基准有意思的地方在于它不考 “答题”,考 “干活”:多页 PDF、电子表格、图纸混在一起,多文件推理拼答案——这才是知识工作者每天真实面对的输入。拼基准的时代确实过去了,MMLU 刷到 90+ 对选型已经没什么指导意义,能不能在杂乱的真实文档里不出错地拼出答案,才是 agent 能不能落地的分水岭。就看后续各家模型在这上面的分数,会不会像以前刷榜那样水分大。

发表回复