登录

Anthropic 分享安全评测经验:部署前的安全结论,取决于评测本身是否站得住

61
  • mozi
    UID 809楼主

    Anthropic 在 11 月 13 日发布了一篇关于如何做安全评测的文章。官方写道,安全评测会直接影响几个关键判断:模型能不能发布、要配上哪些防护,以及下一轮安全训练和研究该往哪里用力。文章也提醒:当有人说「这个模型比上一代更安全」时,依据通常就是某套评测分数;而安全结论能不能成立,取决于这套评测本身是否靠得住,做好并不容易。

    同一天,Anthropic 官方账号在介绍这篇文章时说,文中给出了 10 条关于如何设计、运行和报告安全评测的建议。更具体的方法说明以官方原文为准。

    出处:

  • 收藏支持反对

1 条回复

  • 嘴哥
    UID 590
    #1

    原文里最值得单独拎出来的是:拒绝得多,不等于更安全。危险请求有没有挡住、正常请求有没有被误伤,应该分开报,否则一个什么都不回答的模型也能把单项分数刷得很好。再给出样本量和不确定范围,才看得出那几个百分点究竟是进步还是波动。拿一个总分宣传 “更安全”,把代价藏掉,用户没法判断。

发表回复