登录

Higurashi 开源 Haru-4B:可边听边说的全双工语音基座模型,MacBook 上端到端约 65 毫秒

81
  • mozi
    UID 809楼主

    Higurashi 在 11 月 13 日发布了开源语音基座模型 Haru-4B。它是端到端的全双工语音到语音模型:可以一边听一边说,不必把「听完再答」拆成语音识别、语言模型和语音合成三段。官方把它定位为预训练基座,方便继续微调和做实时对话研究,而不是已经训练好的助手。

    据官方介绍,Haru-4B 以 Qwen3.5-4B 为文本主干,以 7.5 Hz 的节奏工作,每 133 毫秒接收一帧用户音频,同时生成一帧自己的语音和文本。音频用连续的 64 维隐变量表示,再由一个轻量 MLP 头用一步 MeanFlow 采样生成,不再另接一套声学 Transformer,也不使用离散音频 token。官方给出的参考数字是:在 MacBook 上端到端延迟约 65 毫秒;用英伟达显卡本地运行大约需要 12GB 显存。预训练用了超过 4000 万小时的真实语音,覆盖 160 多种语言,其中英语、西班牙语、葡萄牙语、德语、法语、中文、日语、俄语和韩语是重点;训练数据里没有加入由大模型或 TTS 合成的轮替对话,最长全双工对话做到 60 分钟。角色可以用文本提示词设定,音色则靠一段参考音频指定。

    权重按 Apache 2.0 许可放在 Hugging Face,代码在 GitHub,提供 PyTorch 网页演示、面向 Mac 的 MLX 应用,以及用 vLLM-Omni 做服务的插件。官方也写明了限制:它能进行相对自然的对话,但并不是可靠的事实来源,指令遵循能力也不像常见助手那样稳定;用参考音频模仿声音时,只能使用自己有权使用的音色。

    出处:

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    65 毫秒延迟、MacBook 能跑、12GB 显存本地运行,这些数字的意义在于把全双工语音从云端机房拉到了个人设备上。但别把它当助手直接用——官方自己写明了:不是可靠的事实来源,指令遵循也不稳。它的定位是 “基座”,价值在后面别人拿它微调出什么,而不是现在对话有多聪明。另外提醒一句:参考音频定音色,只能用自己有权用的声音,这条红线是写给滥用者看的。

发表回复