跳到正文
只看论文
  1. webrtcHacks74

    实测：Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一

    Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。

    推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。

  1. Hume AI Blog58

    Hume 拆解表情测量模型：面部与语音情绪信号如何变成可评测的结构化分数

    Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。

    推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。

  1. 论文与标准70

    实时语音 Agent 评估综述：从组件级质量指标走向任务落地结果

    综述系统梳理实时语音 Agent 的评测谱系：从 ASR/TTS 组件指标，到 VoiceBench、Full-Duplex-Bench v1.5/v2 等会话行为基准（覆盖重叠、打断、多轮与多说话人），再到以状态校验和任务完成为准的 agentic 评测，指出评估重心正从"系统说了什么"转向"在真实对话约束下做了什么"。

    推荐理由：语音 Agent 评估方向的系统性综述，为搭建评测体系提供完整地图。

  2. 论文与标准66

    Duplex-MPE：2000 场景评测全双工模型多人交互

    该基准构造 2000 个由 3–4 名真人说话者加一个助手组成的场景，以连续音频流（无转写、无轮次边界）评测助手的应答发起、答案准确、保持沉默与适时停说四项能力，并覆盖显式/隐式指涉配对；对 MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omni 五个开源系统的评测显示 MiniCPM-o 4.5 在三项能力上领先。

    推荐理由：把全双工评测从双人对话推进到多方交互，直指语音 Agent 在群聊场景的核心缺陷。

  1. 论文与标准66

    NemotronLabs VoiceChat：带原生工具调用的开源全双工语音到语音模型

    论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat，把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中，使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分；FDB 1.5 上回信道（backchannel）后 93% 恢复回复；VoiceBench 归一化均分 55.1，FDB 3.0 工具选择 F1 为 82.5%，但参数准确率与端到端工具执行仍是待改进项。

    推荐理由：把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作，给出完整基准数据。

  1. Hume AI Blog62

    Hume 发布语音可控性排行榜，评测 17 个 TTS 模型

    Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。

    推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。

  2. Cactus Engineering Blog58

    Cactus 受控实验：删掉 FFN 后 Transformer 只损失 0.006 nats

    在控制参数量、算力与深度后测量删除前馈网络的损失：匹配参数下仅 0.006 nats，且集中在无外部信息可查的 token 上；该结论支撑 Needle 2/3 的纯注意力架构，完整研究为 A Controlled Study of Attention-Only Transformers。

    推荐理由：对 transformer 架构常识的反直觉实证，方法论干净。

  3. Cactus Engineering Blog60

    Hadamard MLP 替代 FFN：单层参数 4.7M 降到 25.6K，算力五分之一

    Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层，d=768 时单层参数从约 4.7M 降至 25.6K，每 token 计算约为原来的五分之一，契合端侧权重读取瓶颈。

    推荐理由：量化明确的架构创新，直指端侧推理的内存墙问题。

  4. 论文与标准57

    Voice-Light：带因果话轮与投机生成的全双工级联语音 Agent

    论文提出全双工级联语音 Agent Voice-Light，组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成，使结构化工具调用可与桥接语音并发执行，且被取消的音频不会进入对话历史（浏览器端回执让已播放音频成为权威记录）。在 1673 条真实对话静音候选上的锁定评测显示：学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%，而 Silero 时序策略召回 95.60%，因此线上保留混合控制器而非替换为学习策略；三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms（21 轮低于 800ms），作者声明这属于插桩案例研究而非受控用户评测。

    推荐理由：少见的公开负面结果与可复现工程细节，说明级联全双工中学习式话轮判断的真实局限。

  5. Cactus Engineering Blog58

    Needle 3 智能阶梯：一套权重从 2 到 20 层任意深度皆可部署

    Needle 3 训练为任意 2-20 层深度都是可部署模型，共享同一残差流，按设备内存预算选择深度而无需为每个尺寸单独训练；文中解释子网络选择、免多轮训练的方法及各深度得分。

    推荐理由：一套权重覆盖多种端侧内存预算的工程思路，可跟踪性强。

  1. Tavus Blog71

    Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先

    Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。

    推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。

  1. Hume AI Blog62

    Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果

    Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。

    推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。

  1. Netflix Technology Blog71

    Netflix 详解 MAPS：用多模态嵌入做大规模素材个性化

    Netflix 介绍 MAPS 多模态素材个性化系统，把 CLIP 图像嵌入与素材 ID 嵌入拼接，让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个，在数据最少的 short-panel 与 landscape-panel 画布上收益最大；消融实验中只有图像嵌入与统一模型同时使用（V3）才在至少四周的线上 A/B 测试中取得显著提升，short-panel 离线 IPS 提升 5.691%。视频预览方面，融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线，已成为默认视频预览嵌入。

    推荐理由：Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动，并给出离线 IPS 与线性探针的评估取舍。

  1. 论文与标准60

    MoMQ：元数据驱动的多路径 QUIC，P99.9 帧时间降至 114ms

    论文指出多路径传输对实时视频收益有限的根因是调度器只看字节、不识别关键帧；MoMQ 作为 MoQT 扩展让应用与 relay 用声明式规则把 Object 元数据映射到标注路径，在 Starlink+WiFi 真实试验台上用 4 条规则将 P99.9 帧完成时间从 384.7ms 降至 114.1ms，播放缓冲需求减少 61.5%，且是唯一满足 150ms 交互延迟目标的配置。

    推荐理由：把 MoQT 的语义元数据用于多路径调度，给出了 QUIC 时代弱网对抗的新方向。

  1. 论文与标准58

    MultiMoQ 入选 ACM MM 2026：多接入 MoQ 瓦片流

    论文面向 360° 沉浸式直播，基于 MoQ 重新设计多接入路径下的瓦片流投递机制，支持灵活的瓦片调度与无缝接入切换；原型在真实网络仿真中对比 DASH 与标准 MoQ，提升了增强瓦片与基础层的 goodput、降低增强瓦片尾部端到端延迟，并消除标准 MoQ 在带宽受限下的持续停滞。

    推荐理由：MoQ 在高码率沉浸式视频上的系统性扩展，已被 ACM MM 2026 接收，代表学术侧的落地验证。

  1. 论文与标准68

    M3-DuplexBench：英日双语全双工对话评测基准

    该基准联合评估全双工口语对话系统的交互时机（轮次切换、附和、打断）与响应内容，覆盖英语与日语的闲聊及多轮问答场景，并基于同源语料实现跨语言对比；实验揭示不同全双工模型具有模型特有的交互模式，语言与领域间存在明显性能差异。

    推荐理由：全双工语音模型评测方向的代表性新基准，补足多轮、多语言受控对比的空白。

  1. AWS Media Blog62

    AWS 对比 NDI SpeedHQ 与 JPEG XS 的编解码画质基准

    AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试，测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps，在 Amazon EC2 C6id.12xlarge 上运行，NDI 用 Advanced SDK 6.3.1，JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大，NDI SpeedHQ 在低码率下略优且存在质量上限；两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。

    推荐理由：AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失，可据此判断长信号链下选哪种中间编解码器。

  1. 论文与标准60

    MoQ 时移客户端 ABR 评测：多 4 秒延迟可换 4 倍吞吐

    论文在 Mininet 模拟拓扑中评估 MoQ SWITCH 式 ABR 对直播与时移播放的适配，验证标准 ABR 算法可直接用于时移播放并显著提高吞吐：订阅者重缓冲后可恢复更高吞吐，增加不到 4 秒的流延迟即可换来约 4 倍吞吐提升，开源了 MOQtail 扩展与测试框架。

    推荐理由：直接回应 MoQ 工作组正在讨论的 ABR 切换语义，给 SWITCH 设计提供实证数据。

  1. Cactus Engineering Blog62

    Cactus 开源 26M 参数函数调用模型 Needle：端侧预填充 6000 tok/s

    Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。

    推荐理由：端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。

  1. 论文与标准66

    论文 OCC：用物理层信息辅助 RTC 拥塞控制，尾延迟降低 13%-68%

    针对 RTC 试错式带宽探测在蜂窝网络波动下迟缓失准的问题，OCC 直接读取物理层信息实时获取可用带宽，并通过帧级带宽测量、APP 限速感知估计与编码器友好码率控制三项策略适配 RTC 的流量突发与编码滞后特性；在开源蜂窝测试床的实网实验中，尾网络延迟降低 13%-68%，视频帧码率提升 1.2-3.5 倍。

    推荐理由：把跨层信息引入实时拥塞控制的新思路，实验增益明确，代表 2026 年 RTC 传输研究的一个方向。