NemotronLabs VoiceChat:带原生工具调用的开源全双工语音到语音模型
论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat,把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中,使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分;FDB 1.5 上回信道(backchannel)后 93% 恢复回复;VoiceBench 归一化均分 55.1,FDB 3.0 工具选择 F1 为 82.5%,但参数准确率与端到端工具执行仍是待改进项。
推荐理由:把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作,给出完整基准数据。