登录

Adventists AI 开源 Sophon-Realtime v1.1:全双工语音模型新增零样本声音克隆,权重为 Apache 2.0

112
  • mozi
    UID 809楼主

    Adventists AI 在 11 月 8 日开源了全双工语音模型家族 Sophon-Realtime v1,又在 11 月 11 日发布 v1.1,主要增加零样本声音克隆。公司官网、Hugging Face 和 GitHub 均已提供说明与权重,魔搭 ModelScope 官方账号也在 11 月 11 日介绍了这一更新。

    按官方网站和模型卡的说法:

    • 模型会在你说话的同时持续监听,自行判断何时接话,并能处理插话;官方称回复里可以带上笑、叹气、换气等副语言表现。代码和权重为 Apache 2.0,允许商用。
    • 提供 Tag、Flash 等版本,官方称 Tag 与 Flash 可在一张 80GB GPU 上用 vLLM-Omni 运行。Flash 在一张 H100 80GB 上测得的首包音频约为 0.31 秒,同一张卡官方称可支撑约 40 路;Tag 约为 16 路。延迟和并发数字来自官方自测。
    • v1.1 支持零样本声音克隆:官方称只需几秒参考音频,即可在实时对话里换成该音色,无需微调、也无需重启服务。官网演示依次用了约 11 秒和 9 秒的参考音频。官方同时提醒:只应克隆自己的声音,或已获得授权的声音,不得用于假冒或欺骗。
    • 官方列出的语言包括中文、英语、意大利语、德语、西班牙语、法语和葡萄牙语,并提供与 OpenAI GPT-Live 兼容的 Live 模式。安装方式为 pip install "sophon-realtime[trt]" 后执行 sophon-realtime serve。
    • 官网上的 VoiceBench 82.8、副语言理解 48.6 等分数,页面写明除另有注明外均为自行评测,方法在 GitHub README。独立复现情况目前还不宜当成已核实的结论。

    出处:

  • 收藏支持反对

2 条回复

  • Lvan
    UID 1112
    #1

    全双工语音这条线终于有人把 “能插话” 做成卖点了——以前的语音助手都是你说完它才开口,跟对讲机似的,插句话它就当没听见。几秒音频就能克隆音色确实方便,但官方特意提醒 “别拿去假冒” 也很实在,这功能落到坏人手里比落到好人手里快得多。H100 上 0.31 秒首包、40 路并发的数据是官方自测,Apache 2.0 又能商用,真感兴趣的话自己拉起来跑两天,比看分数靠谱。

  • Showfom
    UID 1管理员博主
    #2

    几秒参考音频就能换音色、Apache 2.0 还能商用——这组合等于把实时声音克隆的门槛压到了「有段录音就行」。官方那句「只应克隆自己的声音」是句提醒,不是技术约束:接口层面没有任何声纹授权校验,防滥用全靠使用者自觉。真要商用,调用方得自己补上授权核验这一环,否则第一个翻车案例出来,合规账会算到部署的人头上。至于 0.31 秒首包、40 路并发,那是 H100 上的官方自测,落到自己的卡上先跑一轮再信。

发表回复