跳到正文
9月18日周五
  1. 论文与标准66

    NemotronLabs VoiceChat:带原生工具调用的开源全双工语音到语音模型

    论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat,把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中,使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分;FDB 1.5 上回信道(backchannel)后 93% 恢复回复;VoiceBench 归一化均分 55.1,FDB 3.0 工具选择 F1 为 82.5%,但参数准确率与端到端工具执行仍是待改进项。

    推荐理由:把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作,给出完整基准数据。

9月17日周四
  1. 论文与标准57

    Voice-Light:带因果话轮与投机生成的全双工级联语音 Agent

    论文提出全双工级联语音 Agent Voice-Light,组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成,使结构化工具调用可与桥接语音并发执行,且被取消的音频不会进入对话历史(浏览器端回执让已播放音频成为权威记录)。在 1673 条真实对话静音候选上的锁定评测显示:学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%,而 Silero 时序策略召回 95.60%,因此线上保留混合控制器而非替换为学习策略;三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms(21 轮低于 800ms),作者声明这属于插桩案例研究而非受控用户评测。

    推荐理由:少见的公开负面结果与可复现工程细节,说明级联全双工中学习式话轮判断的真实局限。

7月22日周三
  1. AWS Media Blog62

    AWS 对比 NDI SpeedHQ 与 JPEG XS 的编解码画质基准

    AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试,测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps,在 Amazon EC2 C6id.12xlarge 上运行,NDI 用 Advanced SDK 6.3.1,JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大,NDI SpeedHQ 在低码率下略优且存在质量上限;两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。

    推荐理由:AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失,可据此判断长信号链下选哪种中间编解码器。

2月13日周五
  1. Daily.co Blog71

    Pipecat 发布语音智能体 STT 基准:对比 10 家服务的延迟与语义准确率

    Pipecat 团队发布面向实时语音智能体的 STT 基准,在 1000 条真实人类语音样本上测试 10 家 STT 服务,同时衡量转写延迟(TTFS)与语义准确率。中位延迟上 Deepgram Nova 3(247ms,1.62% WER)、Soniox(249ms,1.29% WER)、Speechmatics(495ms,1.07% WER)位于帕累托前沿。基准用 Claude 做语义 WER 评估,只统计会导致 LLM 理解不同的错误,并强调 P95 延迟与 finalization 支持比中位数更影响对话体验;代码已在 GitHub 开源,Pipecat 0.0.102 起可设置 ttfs_p99_latency 参数。

    推荐理由:Pipecat 团队用 1000 条真实语音对比 10 家 STT 服务的延迟与语义准确率,并给出可自行复现的基准工具。

2月10日周二
  1. 论文与标准74

    论文 Camel:帧级带宽估计提升直播 1080P 占比 70.8%

    北大与字节跳动团队发现反直觉现象:编码码率未用满带宽时卡顿仍频发,根因是实时编码的瞬时码率波动让包级拥塞控制误判可用带宽;Camel 改用帧级网络反馈估计真实容量,由带宽与时延估计器、拥塞检测器与突发长度控制器组成;在 2.5 亿用户、20 亿会话、150+ 国家的真实平台上线后,1080P 分辨率占比最多提升 70.8%,媒体码率提升 14.4%,卡顿率最多下降 14.1%;仿真中码率高 19.8%、卡顿率低 93.0%、带宽估计精度提升 23.9%。

    推荐理由:从真实大规模平台发现问题并验证的拥塞控制研究,WWW 2026 收录,数据完整。