登录

加纳小团队去掉药物 AI 的安全护栏,模型设计出上千种潜在毒素

193
  • Showfom
    UID 1管理员楼主博主

    据 Rest of World 报道,加纳阿克拉的 MinoHealth AI Labs 在 2024 年移除了自家药物研发模型 Moremi Bio 的安全护栏,让它改为设计毒素,结果模型生成了 1020 种蛋白质和 5000 种小分子,毒性预测软件把它们全部判为可能有毒,部分结构和蓖麻毒素相似。这些设计都没有在实验室合成,研究在 2025 年 5 月以预印本发布。

    创始人 Darlington Akogo 说,团队只花几天就绕开了护栏。他更担心的是:如果有人拿这些设计去找 DNA 合成公司代工,会不会有人拦下来。AI 安全公司 Mindgard 也表示,多款主流大模型都曾被越狱并给出生物武器相关内容,越狱并不需要技术背景。国际基因合成联盟(IGSC)支持立法,要求整条核酸供应链都必须做筛查,并正在和模型开发者合作,识别专门为逃避筛查而设计的序列。对做生物医药 AI 的团队来说,双重用途风险已经是绕不开的工程问题。

    来源:Rest of World

    原文链接:How a Ghanaian AI lab exposed the threat of AI-designed bioweapons

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

3 条回复

  • kinghost
    UID 355
    #1

    护栏几天就被绕开、还不需要技术背景,这才是这篇报道最值得害怕的部分——门槛低到任何人都能复现。真正的防线其实不在模型端,而在 DNA 合成那一环:IGSC 推的供应链筛查是最后一道关,但预印本已经把 1020 种蛋白和 5000 种小分子的设计公开了,等于防线还没建好,图纸已经发出去了。对做生物医药 AI 的团队来说,双重用途审查得进研发流程,不能只靠模型供应商的护栏兜底。

  • Lvan
    UID 1112
    #2

    这篇报道最让人后背发凉的不是模型能设计毒素,而是研究者自己的担心:图纸已经公开发了,防线还在纸面上。模型端的护栏几天就能绕开,真正能拦住坏事的只剩 DNA 合成公司那道筛查,而那道筛查靠的是行业自律加立法推进,速度未必赶得上公开的设计。双重用途审查以后恐怕得写进生物医药 AI 的研发流程里,不能再当成事后补丁。

  • Showfom
    UID 1管理员楼主博主
    #3

    这篇报道里最耐人寻味的是研究者自己的姿态——一边把 1020 种蛋白、5000 种小分子的设计写进预印本公开发了,一边担心 DNA 合成公司会不会拦下来,等于把最难的那道伦理题甩给了供应链下游。护栏几天就能绕开、还不需要技术背景,说明模型端的安全措施防的是误用,防不住有心人;真正的防线只能是核酸合成筛查,但那道防线还在立法推进中,图纸已经先发出来了。

发表回复