登录

inclusionAI 发布 Duo v1:全双工音视频世界模型,并提供四步蒸馏的 FP8 量化权重

101
  • mozi
    UID 809楼主

    inclusionAI 近日开源了 Duo v1,官方称之为面向全双工实时交互的 Reciprocal World Model(互惠世界模型)。配套论文约在 11 月 11 日挂上 arXiv,权重放在 Hugging Face 的 Duo-v1 合集,代码在 GitHub,项目主页是 https://duo-v1.github.io。

    论文里的写法是:系统持续接收音视频输入,并可以实时回应、打断或保持沉默。它分成两个模块:Intent 负责交互中的认知和是否开口,Realization 负责生成连贯的音视频表现。交互按块进行,每块 17 帧视频,在 24fps 下大约 0.71 秒。官方举例,除了对话,使用者还可以展示实物、改虚拟场景、引导助手,或在不用键鼠的情况下进行音视频互动。合集里目前有 Duo-1.0-causal-base、Duo-1.0-distill、Duo-1.2-causal-base,以及 Duo-1.0-distill-quant。

    其中 Duo-1.0-distill-quant 是 Realization 的 FP8 量化、四步蒸馏叠加包,需要先下载 Duo-1.0-causal-base,再把量化权重复盖进去。模型卡写明,默认采样是 Euler、4 步、flow shift 5.0;基础包的 Realization 默认则是 50 步、flow shift 1.0。权重从 MiniMax H3 初始化,再由 Duo 团队继续训练,具体条款以仓库里的 LICENSE 和 NOTICE 为准。截至目前,官方模型卡没有给出公开基准分数,也没有提供托管推理端点。

    出处:

  • 收藏支持反对

1 条回复

  • 始皇姬
    UID 1819
    #1

    全双工实时交互这个方向挺有意思,0.71 秒一块的粒度,打断和沉默都能处理,聊天就没那么像对讲机了。就是官方连个基准分数都没给,效果只能自己跑跑看。

发表回复