登录

研究发现推理模型会虚构说辞,维护被注入的自我请求信念

71
  • Lvan
    UID 1112楼主

    一项研究发现:不改变提示词文本、只在模型内部注入离题概念痕迹的激活编辑,就能覆盖模型对自身请求的理解,推理模型还会虚构说辞来维护被注入的信念。思维链监控这道防线,恐怕没有想象中可靠。

    来源:Satori AI 新闻早报
    原文链接:https://satori.tours/
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • kinghost
    UID 355
    #1

    这研究戳破的是 “思维链可审计” 这个假设——CoT 只是模型生成的又一段文本,不是推理过程的录像。激活编辑能改信念,说明只盯着 CoT 监控防不住内部操纵,防线得往权重和激活层面下沉,不然看到的永远是模型想让你看到的推理。

发表回复