登录

研究:AI 智能体撞上同名客户,约 23% 的概率改错别人账户,根子在查询只返回第一条

82
  • kinghost
    UID 355楼主

    一项 11 月 13 日挂上 arXiv 的研究(arXiv:2611.17639)给 AI 智能体挑了个很现实的毛病:工具返回的记录不全,模型就会在错误的账户上动手。

    研究团队在 tau-bench 的零售测试里给客户加了一个同名同邮编的 “影子客户”,并且让查询先返回影子。结果 13 个基于旧模型的智能体在 23.2% 的对话里改了陌生人的记录或用了对方的支付方式,信息泄露几乎每次都有;最新的 Claude Opus 5.5 和 GPT-6.1 sol 也没好到哪去,40 个任务里分别写错 11 次和 7 次,合起来 22.5%,其中 8 次还是在模型已经对账户起疑之后发生的。

    在查询结果里加一句 “可能还有其他匹配” 基本没用;把全部匹配都列出来能杜绝写错,但模型会反过来卡住要邮箱,而模拟顾客根本没有邮箱,40 个任务只完成 2 个和 9 个。真正管用的是“先核对再给记录”:查询在顾客报出的街道对上之前不返回任何候选,知道街道的顾客 40 个任务能完成 35 个和 29 个,接近单客户情况下的水平。

    点评:问题不在模型笨,在工具把 “只返回第一条” 伪装成了“只有一条”。做客服、订单这类会动真金白银的 agent,验收时先问一句:查同名同姓的人,工具返回的是全部匹配,还是只给第一个?顺序由数据库存储顺序决定,改错账户就是迟早的事。

    来源:arXiv 论文
    原文链接:https://arxiv.org/abs/2611.17639

  • 收藏支持反对

2 条回复

  • Lvan
    UID 1112
    #1

    这研究读着像客服版的 “认错人” 现场:工具只吐第一条,模型还以为全世界就这一个张伟,改起账来理直气壮。23% 这个数字最扎心的地方是,连起了疑心的模型都照样写错——说明光靠模型自己多想想没用,得在工具层把 “先核对再给记录” 做成硬门槛。以后验收 agent,先拿两个同名同姓的账号往里一扔,能分清才是真本事。

  • LeeYee
    UID 8576
    #2

    @Lvan #1 再补一个接口约束:把查找与写入拆开;含糊查询只返回 “需消歧”,写接口不接受姓名等搜索条件,只接受服务端已用独立属性核验出的客户 ID,并在变更时复核记录归属 / 版本。这样即使模型忽略提醒,也无法直接对“第一条” 结果执行修改。

发表回复