DEAF：音频语言模型声学忠实度诊断评估基准
针对 Audio MLLM 是否真正处理声学信号还是依赖文本语义推断的疑问，研究者提出 DEAF 基准，包含 2700 多条冲突刺激，覆盖情感韵律、背景声和说话人身份三个声学维度。配套的多级评估框架逐步增强文本影响，从内容语义冲突到误导性提示及其组合，并引入诊断指标量化模型对文本线索的依赖。对七个 Audio MLLM 的评估显示一致的文本主导模式：模型对声学变化敏感，但预测主要由文本输入驱动。
#音频处理
arXiv eess.AS评分2929 arXiv eess.AS评分3131 多模态同步机制研究：基于解码器的视频-文本到语音合成洞察
研究以视频-文本到语音（VTTS）合成任务为测试平台，用基于解码器的统一 Transformer 模型 Visatronic 考察序列设计如何影响异构采样率模态间的同步。全局顺序索引与共时有序索引在域内同步表现相当，但域偏移下同步取决于 token 顺序与位置 ID 设计的交互，文本优先的共时索引在评估变体中迁移最稳健。文本支撑可懂度、视频提供时间线索与情感表达，视频优先域内更强而文本优先泛化更好；新提出的音素级指标 TimeSync 可揭示帧级指标遗漏的时间错位。
arXiv eess.AS评分2222 跨儿童指向与成人指向语音数据集的成人受话人分类基准测试
研究基于自然实验室与真实场景的儿童指向语音（CDS）和成人指向语音（ADS）语料，建立了区分二者的分类基准。自监督学习（SSL）表示表现最佳，而引入高维嵌入跨通道协方差的时间池化方法提供了互补优势。线性探针分析显示不同池化方法对韵律信息的捕捉方式各异。
arXiv eess.AS评分4040 AudioTETRIS：利用过渡重要性信号消除 Token，实现高效音频 LLM
AudioTETRIS 是一个免训练的两阶段框架，利用音频编码器的表示几何作为声学先验，在 LLM 解码器中计算逐 Token 融合分数并逐层进行 top-k 选择，无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 Token 即可在多项语音任务上保持接近未压缩的性能，中等压缩率下可持平或超过全 Token 准确率，并持续优于现有免训练基线。
arXiv eess.AS评分3636 LATTE：面向音频 LLM 的音韵感知说话人提取前端
研究者提出轻量前端 LATTE（5.2M 参数），通过声学难度估计器、任务自适应音韵先验和自适应 Hourglass 提取器，在推理时无需语言标识即可为每个混合语音分配计算量。在 PolyExtract 上，LATTE 以 0.30 GFLOPs 达到 15.07 dB 的 macro SI-SNRi，性能与 0.53 GFLOPs 固定深度模型相差 0.09 dB 以内，同时计算量减少 43.4%，并将平均 WER 从 TF-GridNet 的 16.8% 降至 14.6%。
arXiv eess.AS评分2222 VoxAnon：用于公平评估语音匿名化的平衡数据集
VoxAnon 是基于 VoxCeleb1 和 2 构建的语音匿名化评估数据集，其训练与评测划分在性别、年龄、口音和音高上保持平衡，并用两种互补方法提取和交叉校验属性。对比不平衡数据在四种攻击者和三种匿名器下的表现，属性不平衡会改变哪些子群体最难被再识别，方向因属性而异；平衡设置下仍存在与口音和音高相关的残余差异，且取决于匿名器与攻击者的组合。
arXiv eess.AS评分3232 生成音乐的音频语言模型评委在听什么？四项带专家评分对照的探针测试
研究提出四项探针，检验开放音频语言模型作为生成音乐评委时究竟响应音乐、文本提示还是提问方式，并在 MusicEval 全部 2,748 个片段上测试五个开放评委。无音频时没有评委超过仅凭提示从人工评分预测的水平；有音频时所有评委在提示对齐上跟随所听片段，成对判断中四个较小评委的结论跟随片段位置而非质量，改写指令对多数评委相关性的影响与更换评委相当。
arXiv eess.AS评分2727 QC-MI-OVSEL：查询条件多实例开放词汇声事件定位基准
研究提出 QC-MI-OVSEL 基准，包含 40,000 个一阶 Ambisonics 场景、83 类共 80,000 个均衡的查询视图，其中 17 类为训练与开发阶段未见过的新类别。同时提出 Q-RSet，用查询条件源槽与基于责任度的证据聚合做源集合预测，在源恢复、定位召回、基数估计与缺失查询抑制上优于基线。分析显示新类别、改写查询和更高源数量主要影响源发现与集合补全，已恢复源的方位精度相对稳定。
arXiv eess.AS评分3434 如何评估带外国口音的合成语音的自然度？
研究发现，广泛使用的自动语音质量评估系统 UTMOS 会给外国口音更重的人类语音打更低分。大规模主观评测显示，人类评估自然度时也会受口音程度影响，但将自然度定义为“像人”并选择更熟悉目标口音的评分者，可能实现更合适的评估。
arXiv eess.AS评分2828 位置重要吗？黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位
一项黑盒因果测试通过 CLAP 相似度定位声明的证据区域并用频谱门控移除，在三个 LALM 上对比随机窗口对照。在 Qwen2-Audio-7B 上，局部消融的原始 AUROC 为 0.613，低于空白波形的 0.721，但这是时长混淆所致；固定时长后定位在每个网格单元均优于随机移除。结合空白与语言先验对比的门控集成对比解码，将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。
arXiv eess.AS评分4242 从 210 万小时广播音频到芬兰语语音 SSL：大规模置信度过滤与架构分析
一项芬兰语语音 SSL 研究以 210 万小时无约束广播音频为起点，提出用 ASR 置信度作为预训练数据质量代理，在训练集更小的情况下相比基于 LID 的过滤取得 3-7% 的相对 WER 改善。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 与 E-Branchformer，模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。
arXiv eess.AS评分2727 AV-FlowEdit：无需训练与反演、基于事件感知频谱轨迹保持的提示驱动音视频编辑
AV-FlowEdit 是一个无需训练、无需反演的提示驱动音视频编辑框架，利用源-目标流差异同时提供跨模态编辑方向与保持线索，在共享扰动下联合更新视频和音频分支，支持纯视觉、纯音频和联合编辑。其跨模态事件感知频谱轨迹保持机制结合流显著性、对齐音频活动、多尺度低频位移与扩散阶段调度，抑制采样漂移并自适应保留非目标区域。实验显示该方法具备较强的提示对齐与时间一致性，以及有竞争力的音频质量和跨模态连贯性。
arXiv eess.AS评分6060 LiveSynth：面向乐器克隆与文本生成乐器的流式神经合成器
LiveSynth 是一个流式神经合成器，支持零样本乐器克隆与文本生成乐器，可在演奏中实时交互。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件，以 100 Hz 输出连续音频潜变量，再由因果变分自编码器解码为音频；逐帧音色条件支持连续音色变形，MIDI 条件 dropout 支持从演奏前缀自主延续。在 NSynth 和 Slakh 数据集上，其音色相似度与频谱重建质量与离线基线相当；在 M3 MacBook Air 上每 10 ms 音频帧需 8.8 ms 计算，RTF 为 0.88，算法延迟 10 ms。
arXiv eess.AS评分3434 Emo-BPO：面向扩散式情感 TTS 的情感双向偏好优化
针对扩散式 TTS 情感对齐只强化目标情绪、忽略竞争情绪模式的问题，研究者提出 Emo-BPO，从重排的同文本情感对中联合学习情感对齐与情感对比的评分函数。该方法无需辅助奖励模型或额外标注，可集成到现有扩散式 TTS 系统中，提升情感可控性与表现力，已被 Interspeech 2026 接收。
arXiv eess.AS评分2626 Spend Where It Matters：粒子搜索结合 MH 精修，在固定算力预算下提升音视频对齐
一种免训练、与奖励无关的两阶段框架 Spend Where It Matters 将粒子搜索与 Metropolis-Hastings（MH）精修结合，在固定算力预算下提升音视频联合生成的对齐奖励。第一阶段按在线方差估计在去噪检查点间自适应分配粒子，为 MH 提供强候选，从而在不扩大粒子规模的情况下获得更高奖励。在 JavisBench-Mini 上，与算力接近时，该方法配合 JavisDiT++ 相对 BoN 平均提升 30.7%、相对 EvoSearch 提升 14.1%。
arXiv eess.AS评分4040 基于强化学习神经架构搜索的高效音视频语音增强
一种强化学习驱动的神经架构搜索（RL-NAS）框架被用于发现紧凑高效的音视频语音增强（AVSE）架构，仅评估 35 个候选架构即找到 290 万参数模型，相比 2200 万参数的基线缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升，仅比基线低 0.7 dB，在商用移动 CPU 上实时因子降低 4.3 倍，搜索效率较随机搜索高 92%。
arXiv eess.AS评分2828 轻量级系统用于声场景的空间语义分割
针对 DCASE 2025 挑战赛任务 4 基线 S5 系统（M2D 加 ResUNet）体积过大、不适合嵌入式设备的问题，该研究评估了改用轻量级音频标记与分离模型后的性能损失。标记环节对比了 PANNs、DyMNs 与基线 M2D 的标签预测准确率，分离环节以尺度不变信噪失真比比较了基于 SuDoRMRF 的卷积分离器与基线 ResUNet，最后用类感知信噪失真比评估不同组合下 S5 系统的整体表现。
arXiv eess.AS评分3434 RDSE：面向双麦克风低端智能手机的实时定向语音增强框架
RDSE 是面向双麦克风低端智能手机的实时定向语音增强框架，将视觉交互与特征推理解耦，仅用摄像头输入参数化空间滤波的导向矢量。系统由去混响网络、带时序卷积网络的波束成形器和基于 MetricGAN 的降噪器组成，在基准数据与真实录音上无需精确几何校准即可实现有效音频变焦，并通过实时直播验证了实用性。
arXiv eess.AS评分3939 TTS-Q：面向文本转语音扩散 Transformer 的感知引导训练后量化
针对 1B 和 3.5B 文本转语音扩散 Transformer 的首个 4-bit 权重与激活（W4A4）训练后量化研究显示，量化会同时损伤权重与激活，但只有激活具备可被精度调度利用的时间步结构。TTS-Q 从任务匹配的校准候选中筛选难量化项，并按预算均衡的混合精度调度为后期前馈激活分配更高精度，在两个规模上均最优恢复音色且不影响可懂度。
arXiv eess.AS评分2929 SEER：面向人工耳蜗语音的检索式源条件情感增强
SEER 是一种基于检索的框架，学习哪种同情感参考能让每个源在人工耳蜗处理后仍可识别，无需平行录音或强度标签。其源条件检索器从采样的情感语音转换结果中学习 CI 感知效用，并用不确定性引导探索避免穷举配对。SEER 在 RAVDESS 上使 N8 的 Source macro-F1 提升 7.30 分，在 ESD 上提升 11.66 分，16 名听测者在 RAVDESS 各条件下增益显著。
arXiv eess.AS评分4040 OpenSVBench：诊断说话人验证跨部署场景的泛化能力
OpenSVBench 是一个面向跨场景说话人验证评测的公开基准，其固定公开核心包含 26 个测试集、11 个场景组和 9.15M 条验证试验，并配有冻结的目标/非目标密钥。在线排行榜以诊断评测接口形式接受新系统的分数包，输出测试集细分、场景组指标、宏平均 EER/minDCF 及场景对比。对 18 个公开检查点的评测显示，宏平均 EER 相近的系统场景表现可能不同，单一场景的强性能不保证其他场景同样可靠。
arXiv eess.AS评分2929 基于对抗训练的连续 SPL 控制人声强度转换
一种轻量转换器以条件循环一致 GAN 在无平行数据下训练，可对任意目标声压级（SPL）实现连续 dB 尺度的人声强度转换，同时保留内容与说话人身份。在 log-mel、WavLM 和 SpeechTokenizer 三种表示对比中，WavLM 达到目标强度变化的 83%，并同步改变基频；感知评测确认幅度归一化后感知强度随目标等级上升。
arXiv eess.AS评分2424 基于自发语音声学生物标志物的阿尔茨海默病检测
一项研究利用 Cookie Theft 图片描述任务采集的自发语音，提取韵律、频谱和时间域的低层声学特征，评估多种机器学习分类器区分阿尔茨海默病患者与健康对照的能力，表现最佳的模型实现了具有临床意义的分组区分。结果支持将无创、低成本的音频筛查工具用于痴呆风险检测，并推动多模态与纵向评估框架的后续研究。
arXiv cs.MM评分2626 LLM 驱动音色生成与插值的结构与表征能动性研究
一项针对 LLM 驱动音色界面的测量研究发现，用户可触达的音色空间是每放置一个声音维度加一的 zonotope，而界面显示的位置与实测偏差约为该区域宽度的三倍。误差来自模型预测坐标和合成器参数插值两个独立来源，36 条细化指令中 26 条无可感知变化，较弱模型下界面未执行任何操作却报告已收敛。
arXiv eess.AS评分3131 EarLog：将播放音频转为机会式耳部生理探测，实现个性化听力风险感知
EarLog 将耳机播放音频本身作为探测信号，通过内容条件化残差感知识别声反射（AR），在嵌入式控制器上实时运行，仅需低成本双麦克风附件。在 81 名参与者、16 款耳机、超 400 小时录音的评估中，该方法在临床参考基准上达到 99.0% 灵敏度和 98.7% 特异度，可在日常聆听中记录个体化 AR 事件，为听力风险的纵向研究提供数据。
arXiv cs.MM评分2222 EmoGavel：面向多模态情感偏好学习的可验证奖励接地感知强化学习框架
EmoGavel 是一个面向多模态情感偏好学习的接地感知强化学习框架，通过可验证奖励同时学习偏好预测、错误定位、修复与缺失证据恢复。其先以 Grounded SFT 利用受控错误构造信息进行监督微调，再用 GA-GRPO 结合偏好门控接地奖励与动态零方差救援优化可验证结果。在 EmoPrefer 与受控错误评测集上，该方法提升了自然偏好预测与受控错误判别能力，并保持较强的错误接地性能。
webrtcHacks精选评分7474 实测：Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一
Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。
推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。
Hume AI Blog精选评分5858 Hume 拆解表情测量模型：面部与语音情绪信号如何变成可评测的结构化分数
Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。
推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。
Cartesia Blog评分3838 TTS 模型好不好？为什么语音合成评测随模型进步而失效，以及如何衡量真正重要的指标
Cartesia 发文分析 TTS 评测为何随模型进步而失效：语音合成是一对多映射，同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法，WER 在可懂度解决后趋于饱和，且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音，这些错误即使语音流畅也难以察觉。
声网博客评分2828 2026年5月开源语音合成模型TTS推荐与测评：Higgs Audio V2、CosyVoice 2等六款横评
2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型，按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首，Higgs Audio V2情感表达4.7最强，VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行，Fish Speech协议为CC BY-NC-SA不可商用。