跳到正文
10月12日周一
  1. arXiv eess.AS44

    EAGLE-ASR:基于 EAGLE 风格投机解码的 ASR 无损推理加速

    EAGLE-ASR 通过 EAGLE 风格投机解码加速 ASR 推理,同时严格保持无损输出质量。其 Speech-Draft 轻量自回归模块联合利用编码器声学特征与目标 ASR 模型的分层解码器表示,配合多步生成策略和自蒸馏数据训练。在 Whisper 与 Conformer AED 模型上分别实现最高 1.9 倍和 2.4 倍无损加速,并泛化至多语言 ASR 与语音翻译任务。

  2. arXiv eess.AS36

    LATTE:面向音频 LLM 的音韵感知说话人提取前端

    研究者提出轻量前端 LATTE(5.2M 参数),通过声学难度估计器、任务自适应音韵先验和自适应 Hourglass 提取器,在推理时无需语言标识即可为每个混合语音分配计算量。在 PolyExtract 上,LATTE 以 0.30 GFLOPs 达到 15.07 dB 的 macro SI-SNRi,性能与 0.53 GFLOPs 固定深度模型相差 0.09 dB 以内,同时计算量减少 43.4%,并将平均 WER 从 TF-GridNet 的 16.8% 降至 14.6%。

  3. arXiv eess.AS60

    Oído:在 5 美元 ESP32-S3 微控制器上运行开放词表语音识别

    论文提出 Oído 推理引擎,在无神经网络加速器的 ESP32-S3(240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash)上运行开放词表英语语音识别,执行 13M 参数 Conformer-CTC 模型,采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER,与全精度相差 0.12 个百分点;加片上 1.3M 参数语言模型后为 3.33%/7.15%,transducer 头为 2.99%/6.67%,int4 变体占用 8.3 MB。实测固件单核运行耗时为音频时长的 1.97 倍,尚不能实时,双核调度在芯片上结果错误已禁用;流式变体在 3.6-10.6 s 片段上于结束后 4.1-11.1 s 输出最终文本,WER 为 4.86%/11.03%。代码与模型已发布。

  4. arXiv eess.AS22

    VoxAnon:用于公平评估语音匿名化的平衡数据集

    VoxAnon 是基于 VoxCeleb1 和 2 构建的语音匿名化评估数据集,其训练与评测划分在性别、年龄、口音和音高上保持平衡,并用两种互补方法提取和交叉校验属性。对比不平衡数据在四种攻击者和三种匿名器下的表现,属性不平衡会改变哪些子群体最难被再识别,方向因属性而异;平衡设置下仍存在与口音和音高相关的残余差异,且取决于匿名器与攻击者的组合。

  5. arXiv eess.AS32

    生成音乐的音频语言模型评委在听什么?四项带专家评分对照的探针测试

    研究提出四项探针,检验开放音频语言模型作为生成音乐评委时究竟响应音乐、文本提示还是提问方式,并在 MusicEval 全部 2,748 个片段上测试五个开放评委。无音频时没有评委超过仅凭提示从人工评分预测的水平;有音频时所有评委在提示对齐上跟随所听片段,成对判断中四个较小评委的结论跟随片段位置而非质量,改写指令对多数评委相关性的影响与更换评委相当。

  6. arXiv eess.AS27

    QC-MI-OVSEL:查询条件多实例开放词汇声事件定位基准

    研究提出 QC-MI-OVSEL 基准,包含 40,000 个一阶 Ambisonics 场景、83 类共 80,000 个均衡的查询视图,其中 17 类为训练与开发阶段未见过的新类别。同时提出 Q-RSet,用查询条件源槽与基于责任度的证据聚合做源集合预测,在源恢复、定位召回、基数估计与缺失查询抑制上优于基线。分析显示新类别、改写查询和更高源数量主要影响源发现与集合补全,已恢复源的方位精度相对稳定。

  7. arXiv eess.AS28

    位置重要吗?黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位

    一项黑盒因果测试通过 CLAP 相似度定位声明的证据区域并用频谱门控移除,在三个 LALM 上对比随机窗口对照。在 Qwen2-Audio-7B 上,局部消融的原始 AUROC 为 0.613,低于空白波形的 0.721,但这是时长混淆所致;固定时长后定位在每个网格单元均优于随机移除。结合空白与语言先验对比的门控集成对比解码,将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。

  8. arXiv eess.AS42

    从 210 万小时广播音频到芬兰语语音 SSL:大规模置信度过滤与架构分析

    一项芬兰语语音 SSL 研究以 210 万小时无约束广播音频为起点,提出用 ASR 置信度作为预训练数据质量代理,在训练集更小的情况下相比基于 LID 的过滤取得 3-7% 的相对 WER 改善。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 与 E-Branchformer,模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。

  9. arXiv eess.AS27

    AV-FlowEdit:无需训练与反演、基于事件感知频谱轨迹保持的提示驱动音视频编辑

    AV-FlowEdit 是一个无需训练、无需反演的提示驱动音视频编辑框架,利用源-目标流差异同时提供跨模态编辑方向与保持线索,在共享扰动下联合更新视频和音频分支,支持纯视觉、纯音频和联合编辑。其跨模态事件感知频谱轨迹保持机制结合流显著性、对齐音频活动、多尺度低频位移与扩散阶段调度,抑制采样漂移并自适应保留非目标区域。实验显示该方法具备较强的提示对齐与时间一致性,以及有竞争力的音频质量和跨模态连贯性。

  10. arXiv eess.AS60

    LiveSynth:面向乐器克隆与文本生成乐器的流式神经合成器

    LiveSynth 是一个流式神经合成器,支持零样本乐器克隆与文本生成乐器,可在演奏中实时交互。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件,以 100 Hz 输出连续音频潜变量,再由因果变分自编码器解码为音频;逐帧音色条件支持连续音色变形,MIDI 条件 dropout 支持从演奏前缀自主延续。在 NSynth 和 Slakh 数据集上,其音色相似度与频谱重建质量与离线基线相当;在 M3 MacBook Air 上每 10 ms 音频帧需 8.8 ms 计算,RTF 为 0.88,算法延迟 10 ms。

  11. arXiv eess.AS34

    Emo-BPO:面向扩散式情感 TTS 的情感双向偏好优化

    针对扩散式 TTS 情感对齐只强化目标情绪、忽略竞争情绪模式的问题,研究者提出 Emo-BPO,从重排的同文本情感对中联合学习情感对齐与情感对比的评分函数。该方法无需辅助奖励模型或额外标注,可集成到现有扩散式 TTS 系统中,提升情感可控性与表现力,已被 Interspeech 2026 接收。

  12. arXiv eess.AS26

    Spend Where It Matters:粒子搜索结合 MH 精修,在固定算力预算下提升音视频对齐

    一种免训练、与奖励无关的两阶段框架 Spend Where It Matters 将粒子搜索与 Metropolis-Hastings(MH)精修结合,在固定算力预算下提升音视频联合生成的对齐奖励。第一阶段按在线方差估计在去噪检查点间自适应分配粒子,为 MH 提供强候选,从而在不扩大粒子规模的情况下获得更高奖励。在 JavisBench-Mini 上,与算力接近时,该方法配合 JavisDiT++ 相对 BoN 平均提升 30.7%、相对 EvoSearch 提升 14.1%。

  13. arXiv eess.AS40

    基于强化学习神经架构搜索的高效音视频语音增强

    一种强化学习驱动的神经架构搜索(RL-NAS)框架被用于发现紧凑高效的音视频语音增强(AVSE)架构,仅评估 35 个候选架构即找到 290 万参数模型,相比 2200 万参数的基线缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升,仅比基线低 0.7 dB,在商用移动 CPU 上实时因子降低 4.3 倍,搜索效率较随机搜索高 92%。

  14. arXiv eess.AS28

    轻量级系统用于声场景的空间语义分割

    针对 DCASE 2025 挑战赛任务 4 基线 S5 系统(M2D 加 ResUNet)体积过大、不适合嵌入式设备的问题,该研究评估了改用轻量级音频标记与分离模型后的性能损失。标记环节对比了 PANNs、DyMNs 与基线 M2D 的标签预测准确率,分离环节以尺度不变信噪失真比比较了基于 SuDoRMRF 的卷积分离器与基线 ResUNet,最后用类感知信噪失真比评估不同组合下 S5 系统的整体表现。

  15. arXiv eess.AS34

    RDSE:面向双麦克风低端智能手机的实时定向语音增强框架

    RDSE 是面向双麦克风低端智能手机的实时定向语音增强框架,将视觉交互与特征推理解耦,仅用摄像头输入参数化空间滤波的导向矢量。系统由去混响网络、带时序卷积网络的波束成形器和基于 MetricGAN 的降噪器组成,在基准数据与真实录音上无需精确几何校准即可实现有效音频变焦,并通过实时直播验证了实用性。

  16. arXiv eess.AS39

    TTS-Q:面向文本转语音扩散 Transformer 的感知引导训练后量化

    针对 1B 和 3.5B 文本转语音扩散 Transformer 的首个 4-bit 权重与激活(W4A4)训练后量化研究显示,量化会同时损伤权重与激活,但只有激活具备可被精度调度利用的时间步结构。TTS-Q 从任务匹配的校准候选中筛选难量化项,并按预算均衡的混合精度调度为后期前馈激活分配更高精度,在两个规模上均最优恢复音色且不影响可懂度。

  17. arXiv eess.AS29

    SEER:面向人工耳蜗语音的检索式源条件情感增强

    SEER 是一种基于检索的框架,学习哪种同情感参考能让每个源在人工耳蜗处理后仍可识别,无需平行录音或强度标签。其源条件检索器从采样的情感语音转换结果中学习 CI 感知效用,并用不确定性引导探索避免穷举配对。SEER 在 RAVDESS 上使 N8 的 Source macro-F1 提升 7.30 分,在 ESD 上提升 11.66 分,16 名听测者在 RAVDESS 各条件下增益显著。

  18. arXiv eess.AS31

    OpenPA:无需强制对齐的多粒度发音评估框架,支持混合转写自适应

    OpenPA 是一种无需强制对齐的自动发音评估框架,利用 Whisper 的交叉注意力机制同时预测词级和语句级发音得分。它通过混合转写自适应与自适应替换加权,在单一模型中兼容封闭与开放回答场景的异构转写,仅用 speechocean762 训练即在域内封闭和模拟开放条件下取得最优整体表现,并在 MultiPA 上保持零样本性能。

  19. arXiv eess.AS40

    OpenSVBench:诊断说话人验证跨部署场景的泛化能力

    OpenSVBench 是一个面向跨场景说话人验证评测的公开基准,其固定公开核心包含 26 个测试集、11 个场景组和 9.15M 条验证试验,并配有冻结的目标/非目标密钥。在线排行榜以诊断评测接口形式接受新系统的分数包,输出测试集细分、场景组指标、宏平均 EER/minDCF 及场景对比。对 18 个公开检查点的评测显示,宏平均 EER 相近的系统场景表现可能不同,单一场景的强性能不保证其他场景同样可靠。

  20. arXiv eess.AS29

    基于对抗训练的连续 SPL 控制人声强度转换

    一种轻量转换器以条件循环一致 GAN 在无平行数据下训练,可对任意目标声压级(SPL)实现连续 dB 尺度的人声强度转换,同时保留内容与说话人身份。在 log-mel、WavLM 和 SpeechTokenizer 三种表示对比中,WavLM 达到目标强度变化的 83%,并同步改变基频;感知评测确认幅度归一化后感知强度随目标等级上升。

  21. arXiv eess.AS25

    重新审视基于 DistilHuBERT 的口音分类:说话人分离评估与跨语料库泛化

    一项基于 DistilHuBERT 的口音分类研究显示,文件级划分会显著高估模型性能,说话人分离评估才能更真实反映对未见说话人的泛化能力。研究使用 L2-ARCTIC 及多个外部英语口音数据集对比发现,仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC,均衡外部数据训练在监督设置中表现最好,而仅靠置信度过滤的伪标签在域不匹配下效果不足。

  22. arXiv eess.AS27

    金融语音需要持续学习正则化吗?EWC 与 mini-KFAC 在财报电话会议 ASR 上的研究

    将 Whisper-small 从通用语音语料适配到 Earnings22 基准时,所有评估方法在同域金融语音上均出现性能提升而非遗忘,任务互补性使正则化反而有害。若确需正则化,逐层 mini-KFAC 近似比标准对角 EWC 取得更低 WER 和更稳定的优化。研究建议先评估任务互补性再施加持续学习约束,必要时优先选用 mini-KFAC EWC。

  23. arXiv eess.AS29

    面向 SLT2026 SmartGlasses Challenge 的前端辅助大型音频语言模型

    针对 SmartGlasses Challenge 赛道一的时间戳说话人归属 ASR 任务,参赛系统采用多模态大语言模型 SoulX-Transcriber,直接输入全长音频并生成结构化转写。为应对双人对话中的重叠语音、背景噪声和远场条件,引入基于规则的引导式源分离与数据驱动语音分离两种前端处理,均在验证集上带来提升。考虑推理稳定性,最终提交使用微调后的 SoulX-Transcriber,测试集 tcpCER 为 6.22。

  24. arXiv eess.AS24

    基于自发语音声学生物标志物的阿尔茨海默病检测

    一项研究利用 Cookie Theft 图片描述任务采集的自发语音,提取韵律、频谱和时间域的低层声学特征,评估多种机器学习分类器区分阿尔茨海默病患者与健康对照的能力,表现最佳的模型实现了具有临床意义的分组区分。结果支持将无创、低成本的音频筛查工具用于痴呆风险检测,并推动多模态与纵向评估框架的后续研究。

  25. arXiv cs.MM26

    LLM 驱动音色生成与插值的结构与表征能动性研究

    一项针对 LLM 驱动音色界面的测量研究发现,用户可触达的音色空间是每放置一个声音维度加一的 zonotope,而界面显示的位置与实测偏差约为该区域宽度的三倍。误差来自模型预测坐标和合成器参数插值两个独立来源,36 条细化指令中 26 条无可感知变化,较弱模型下界面未执行任何操作却报告已收敛。

  26. arXiv eess.AS31

    EarLog:将播放音频转为机会式耳部生理探测,实现个性化听力风险感知

    EarLog 将耳机播放音频本身作为探测信号,通过内容条件化残差感知识别声反射(AR),在嵌入式控制器上实时运行,仅需低成本双麦克风附件。在 81 名参与者、16 款耳机、超 400 小时录音的评估中,该方法在临床参考基准上达到 99.0% 灵敏度和 98.7% 特异度,可在日常聆听中记录个体化 AR 事件,为听力风险的纵向研究提供数据。

  27. arXiv cs.MM38

    DIA:面向云游戏的深度强化学习兴趣感知 ABR 方案

    针对云游戏在无线网络下高分辨率、低延迟传输的难题,研究者提出基于深度强化学习的兴趣感知 ABR 方案 DIA,借助现成语义分割模型实现对象级码率调整,并通过基于 Transformer 的特征提取器和兴趣感知奖励函数识别关键对象。该方案依据玩家游戏内移动速度、对象特征和网络状况自适应调整码率,无需眼动追踪等额外硬件。实验显示,在 5G 场景下 DIA 的归一化平均 QoE 至少比 SOTA ABR 算法高 20%。

  28. arXiv eess.AS40

    E3-System:可显式控制、易用的表达性零样本 TTS 框架

    E3-System 是一个面向表达性零样本 TTS 的意图到语音统一框架,可在给定目标说话人和自然语言风格描述或语音风格提示时,生成保留目标音色的表达性语音。它通过千小时多语言情感语音数据集 EmoData、将文本描述对齐为声学风格提示的 Style-RAG,以及借助 VC 增强音色-风格解耦的 Dual-TTS,打通从风格建模到可控合成的完整控制闭环。实验显示其在语音质量、说话人保持和显式表达控制上表现良好。

  29. arXiv cs.MM22

    EmoGavel:面向多模态情感偏好学习的可验证奖励接地感知强化学习框架

    EmoGavel 是一个面向多模态情感偏好学习的接地感知强化学习框架,通过可验证奖励同时学习偏好预测、错误定位、修复与缺失证据恢复。其先以 Grounded SFT 利用受控错误构造信息进行监督微调,再用 GA-GRPO 结合偏好门控接地奖励与动态零方差救援优化可验证结果。在 EmoPrefer 与受控错误评测集上,该方法提升了自然偏好预测与受控错误判别能力,并保持较强的错误接地性能。

  30. 海外技术动态54

    BlogGeek:WebRTC 屏幕共享不能套用摄像头视频的管线与参数

    文章指出屏幕内容的像素特性与摄像头完全不同(高分辨率、低帧率、文字密集),把屏幕共享当普通视频轨处理会导致文字发虚、幻灯片落后演讲者近一秒、共享 4K 显示器时 CPU 飙升;作者按多年咨询经验归纳屏幕共享在编码参数、管线与监控上的专门处理要点。

  31. Cartesia Blog22

    Raise Financial Services 与 Cartesia 合作,为印度金融市场打造多语言语音 AI

    Raise Financial Services 正基于 Cartesia 的语音模型开发多语言语音体验,其 Dhan 语音机器人已有超 75% 的交互使用非英语语言,其中印地语占一半以上。Cartesia 的 Sonic 文本转语音模型支持印地语、泰米尔语、泰卢固语、马拉地语等 11 种印度语言,并可在单次生成中切换语言。Raise 将模型部署在自有基础设施内,超三分之一语音机器人来电在非工作时间由 AI 独立处理。

  32. MarkTechPost40

    Cloudflare 发布 Clef-omni:面向音频、视频、图像与文本的 30B-A3B 多模态决策模型

    Cloudflare 发布开源权重决策模型 Clef-omni,基于 Qwen3-Omni-30B-A3B-Instruct 后训练,30B 总参数、3B 激活(MoE),可在一次调用中对文本、图像、音频和视频打分,Apache-2.0 许可,输入价格 $0.15/百万 tokens。它在意图分类任务领先,CLINC150+OOS 达 97.7 macro-F1,但在推理与工作流评测中落后于 Clef,GPQA Diamond 仅 47.4。同批更新将 Clef-flash 价格降至 $0.038,托管 Clef 迁至 SGLang 后中位延迟提升 1.7 至 2.0 倍。

10月10日周六
  1. LiveKit Agents Releases22

    LiveKit Agents 1.8.6 发布:新增 Nabrah 阿拉伯语 STT 与 Sarvam bulbul:v4-flash TTS

    LiveKit Agents 发布 1.8.6,新增 Nabrah 阿拉伯语 STT 插件和 Sarvam bulbul:v4-flash TTS,并为 Speechify 加入流式 synthesize()、HTTP 连接复用与 prewarm()。该版本还修复了 AWS 实时会话在流重启后中断、OpenAI Responses API 连接预热、实时工具循环 max_tool_steps 未生效等问题,并让 gpt-5.1+ 在 reasoning_effort 为 none 时保留 temperature/top_p。

10月9日周五
  1. ElevenLabs Blog22

    什么是语音活动检测(VAD),它如何工作?

    语音活动检测(VAD)以毫秒级音频帧为单位判断是否含有人声,并以 0 到 1 的置信度输出二值结果,供 ASR/STT、LLM 等下游系统决定是否处理音频。算法按采集、分帧、特征提取、打分、状态决策五阶段循环运行,分为传统信号处理、神经网络和语义 AI 三类。VAD 只判断帧内是否有人声,判断说话人是否说完需由端点检测(endpointing)完成。

  2. ElevenLabs Blog22

    ElevenLabs 在 ElevenCreative 推出 Brand Kit

    ElevenLabs 在 ElevenCreative 中推出 Brand Kit,把品牌视觉规范从提示词中抽离为工作区里的独立对象,一次设置即可作用于每次生成。用户可存入颜色、字体、Logo、参考图和规则,在 Image & Video、Flows 和 ElevenCreative agent 的提示词中用 @ 调用,同一套规范跨各功能复用,并支持团队与多品牌分别建套切换。该功能现已上线,官方称下一步将把 Kit 扩展到品牌声音与音效。

  3. WebKit Blog22

    Safari Technology Preview 254 发布说明

    Safari Technology Preview 254 面向 macOS Golden Gate 和 macOS Tahoe 发布,包含 WebKit 321068@main 至 322634@main 之间的改动。CSS 新增 size、min-size、max-size 简写属性及 interpolate-size、calc-size() 等支持,并修复 CSS Grid 重排开销随 order 值不同的网格项数量呈二次增长等问题。

  4. AWS Media Blog50

    AWS 发布开源文件传输工具 File Mover Express,直传 Amazon S3

    AWS 发布开源文件传输应用 File Mover Express,在 Apache 2.0 许可下于 GitHub 提供 macOS、Windows 和 Linux 预编译包,用于在本机与 Amazon S3 之间搬运媒体素材。其守护进程式传输引擎把任务与桌面会话解耦,支持断点续传、热文件夹自动上传、带宽限速,以及 XXH3、XXHash、XXHash64、MD5 校验和读取 MHL 清单文件;数据经内置 S3 API 直传,不经过中继或第三方服务,并提供 GUI、CLI 和可选 MCP 服务器三种操作方式。

    推荐理由:AWS 官方开源的文件传输工具,用守护进程把传输与桌面会话解耦,并给出 MHL 校验与直传 S3 的取舍。