跳到正文
10月6日周二
  1. webrtcHacks80

    Chrome 静默上线神经回声消除器,实测回声抑制提升 5.4 dB

    Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型,接管 AEC3 中残差回声估计部分,默认开启且无开关,仅 Chrome 可用,Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比,远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB,每文件中位提升 5.4 dB,80% 文件更好,双讲时近端电平基本不变(中位 +0.04 dB)。在 125 个文件上用 Whisper small.en 测试语音代理场景,中位词错率从 0.500 降到 0.235。

    推荐理由:作者用 AEC Challenge 语料实测 Chrome 神经回声消除器,给出回声抑制与语音识别词错率的对照结果。

9月29日周二
9月23日周三
  1. Meta AI Research Blog74

    Meta 发布 Muse Realtime Avatar 实时数字人系统

    Meta 推出 Muse Realtime Avatar,把 Muse Realtime Voice 的语音 token 流转化为同步的实时数字人视频,支持面部、手部和全身动作。系统采用自强制与分布匹配蒸馏,将每个视频块的推理从教师模型的 120 次评估降到 2 次,减少 60 倍。它以 448x768、25fps 输出,从用户说完到收到音视频首字节约 870 ms,单张 GB200 可支持 12 路并发实时会话,并嵌入 Meta Video Seal 隐形水印。

    推荐理由:Meta 公开了实时数字人系统的蒸馏方案与端到端延迟、并发数据,可对照自身实时视频生成链路。

9月22日周二
9月1日周二
  1. Meta AI Research Blog74

    Meta 发布 Muse Voice Transcribe 实时语音感知模型

    Meta Superintelligence Labs 发布 Muse Voice Transcribe,一个实时音频感知模型,支持流式 ASR、20 人以上说话人分离和端点检测,原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块(12.5 Hz)自回归处理,通过强化学习实现自适应延迟,在速度与准确率之间取得权衡;训练覆盖 70 多种语言,其中 25 种经过充分验证,并支持超过一小时的长音频输入。

    推荐理由:Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计,可了解自适应延迟的取舍思路。

6月4日周四
  1. Daily.co Blog74

    NVIDIA 发布开源多语言语音识别模型 Nemotron 3.5 ASR

    NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。

    推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。

11月4日周二