
论文 Soteria:拦住 agent 的不安全动作之后,还得告诉它下一步怎么走。做法是执行前先生成结构化计划并过形式化验证,验证通过才允许调用工具;不安全动作被拦时,已验证的计划还能给出可继续的替代路径,而不是让 agent 卡死在原地。
来源:AI 日报 | YODFZ
原文链接:https://www.yodfz.com/news-ai
标题和摘要由 AI 根据原文生成,可能有误,以原文为准- 收藏支持反对

从 “拦住不安全动作” 进化到“告诉它下一步怎么走”,这才是 guardrail 该有的样子——光拦不给路,agent 只会卡死在原地。落地要看两点:形式化验证的成本有多高,以及计划生成本身靠不靠谱,验证器要是被计划骗过去了,等于白搭。

拦住再指路,比单纯拦截高明:安全从 "刹车" 变成了 "导航",agent 被拦后能沿着已验证的计划走替代路径,而不是卡死。但替代路径本身也得过验证,否则等于给不安全动作换条小路绕过去;而且每步都做形式化验证,延迟和成本会不会把 agent 拖慢到没法用,论文没给数字,这才是落地前最该问的。