Cloudflare 于 9 月 9 日发布开源权重决策模型 Clef-omni，可在一次调用中接收文本、图像、音频和视频，按允许答案返回概率，无需先做转写或字幕。它基于阿里 Qwen3-Omni-30B-A3B 去掉语音输出并加训决策层，30B 参数中每 token 仅 3B 参与计算；消息分类表现稳定，但加入音视频后 agent 任务准确率有所下降，且官方未公布音视频基准。Cloudflare 同时把 Clef-flash 输入价格降至每百万 token 0.038 美元，但托管版 Clef-flash 上下文从 64,000 降至 24,000 token。
针对 Audio MLLM 是否真正处理声学信号还是依赖文本语义推断的疑问，研究者提出 DEAF 基准，包含 2700 多条冲突刺激，覆盖情感韵律、背景声和说话人身份三个声学维度。配套的多级评估框架逐步增强文本影响，从内容语义冲突到误导性提示及其组合，并引入诊断指标量化模型对文本线索的依赖。对七个 Audio MLLM 的评估显示一致的文本主导模式：模型对声学变化敏感，但预测主要由文本输入驱动。
研究以视频-文本到语音（VTTS）合成任务为测试平台，用基于解码器的统一 Transformer 模型 Visatronic 考察序列设计如何影响异构采样率模态间的同步。全局顺序索引与共时有序索引在域内同步表现相当，但域偏移下同步取决于 token 顺序与位置 ID 设计的交互，文本优先的共时索引在评估变体中迁移最稳健。文本支撑可懂度、视频提供时间线索与情感表达，视频优先域内更强而文本优先泛化更好；新提出的音素级指标 TimeSync 可揭示帧级指标遗漏的时间错位。
研究基于自然实验室与真实场景的儿童指向语音（CDS）和成人指向语音（ADS）语料，建立了区分二者的分类基准。自监督学习（SSL）表示表现最佳，而引入高维嵌入跨通道协方差的时间池化方法提供了互补优势。线性探针分析显示不同池化方法对韵律信息的捕捉方式各异。
AudioTETRIS 是一个免训练的两阶段框架，利用音频编码器的表示几何作为声学先验，在 LLM 解码器中计算逐 Token 融合分数并逐层进行 top-k 选择，无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 Token 即可在多项语音任务上保持接近未压缩的性能，中等压缩率下可持平或超过全 Token 准确率，并持续优于现有免训练基线。
研究者提出轻量前端 LATTE（5.2M 参数），通过声学难度估计器、任务自适应音韵先验和自适应 Hourglass 提取器，在推理时无需语言标识即可为每个混合语音分配计算量。在 PolyExtract 上，LATTE 以 0.30 GFLOPs 达到 15.07 dB 的 macro SI-SNRi，性能与 0.53 GFLOPs 固定深度模型相差 0.09 dB 以内，同时计算量减少 43.4%，并将平均 WER 从 TF-GridNet 的 16.8% 降至 14.6%。
VoxAnon 是基于 VoxCeleb1 和 2 构建的语音匿名化评估数据集，其训练与评测划分在性别、年龄、口音和音高上保持平衡，并用两种互补方法提取和交叉校验属性。对比不平衡数据在四种攻击者和三种匿名器下的表现，属性不平衡会改变哪些子群体最难被再识别，方向因属性而异；平衡设置下仍存在与口音和音高相关的残余差异，且取决于匿名器与攻击者的组合。
研究提出四项探针，检验开放音频语言模型作为生成音乐评委时究竟响应音乐、文本提示还是提问方式，并在 MusicEval 全部 2,748 个片段上测试五个开放评委。无音频时没有评委超过仅凭提示从人工评分预测的水平；有音频时所有评委在提示对齐上跟随所听片段，成对判断中四个较小评委的结论跟随片段位置而非质量，改写指令对多数评委相关性的影响与更换评委相当。
研究提出 QC-MI-OVSEL 基准，包含 40,000 个一阶 Ambisonics 场景、83 类共 80,000 个均衡的查询视图，其中 17 类为训练与开发阶段未见过的新类别。同时提出 Q-RSet，用查询条件源槽与基于责任度的证据聚合做源集合预测，在源恢复、定位召回、基数估计与缺失查询抑制上优于基线。分析显示新类别、改写查询和更高源数量主要影响源发现与集合补全，已恢复源的方位精度相对稳定。
研究发现，广泛使用的自动语音质量评估系统 UTMOS 会给外国口音更重的人类语音打更低分。大规模主观评测显示，人类评估自然度时也会受口音程度影响，但将自然度定义为“像人”并选择更熟悉目标口音的评分者，可能实现更合适的评估。
一项黑盒因果测试通过 CLAP 相似度定位声明的证据区域并用频谱门控移除，在三个 LALM 上对比随机窗口对照。在 Qwen2-Audio-7B 上，局部消融的原始 AUROC 为 0.613，低于空白波形的 0.721，但这是时长混淆所致；固定时长后定位在每个网格单元均优于随机移除。结合空白与语言先验对比的门控集成对比解码，将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。
一项芬兰语语音 SSL 研究以 210 万小时无约束广播音频为起点，提出用 ASR 置信度作为预训练数据质量代理，在训练集更小的情况下相比基于 LID 的过滤取得 3-7% 的相对 WER 改善。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 与 E-Branchformer，模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。
AV-FlowEdit 是一个无需训练、无需反演的提示驱动音视频编辑框架，利用源-目标流差异同时提供跨模态编辑方向与保持线索，在共享扰动下联合更新视频和音频分支，支持纯视觉、纯音频和联合编辑。其跨模态事件感知频谱轨迹保持机制结合流显著性、对齐音频活动、多尺度低频位移与扩散阶段调度，抑制采样漂移并自适应保留非目标区域。实验显示该方法具备较强的提示对齐与时间一致性，以及有竞争力的音频质量和跨模态连贯性。
LiveSynth 是一个流式神经合成器，支持零样本乐器克隆与文本生成乐器，可在演奏中实时交互。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件，以 100 Hz 输出连续音频潜变量，再由因果变分自编码器解码为音频；逐帧音色条件支持连续音色变形，MIDI 条件 dropout 支持从演奏前缀自主延续。在 NSynth 和 Slakh 数据集上，其音色相似度与频谱重建质量与离线基线相当；在 M3 MacBook Air 上每 10 ms 音频帧需 8.8 ms 计算，RTF 为 0.88，算法延迟 10 ms。
针对扩散式 TTS 情感对齐只强化目标情绪、忽略竞争情绪模式的问题，研究者提出 Emo-BPO，从重排的同文本情感对中联合学习情感对齐与情感对比的评分函数。该方法无需辅助奖励模型或额外标注，可集成到现有扩散式 TTS 系统中，提升情感可控性与表现力，已被 Interspeech 2026 接收。
一种免训练、与奖励无关的两阶段框架 Spend Where It Matters 将粒子搜索与 Metropolis-Hastings（MH）精修结合，在固定算力预算下提升音视频联合生成的对齐奖励。第一阶段按在线方差估计在去噪检查点间自适应分配粒子，为 MH 提供强候选，从而在不扩大粒子规模的情况下获得更高奖励。在 JavisBench-Mini 上，与算力接近时，该方法配合 JavisDiT++ 相对 BoN 平均提升 30.7%、相对 EvoSearch 提升 14.1%。
一种强化学习驱动的神经架构搜索（RL-NAS）框架被用于发现紧凑高效的音视频语音增强（AVSE）架构，仅评估 35 个候选架构即找到 290 万参数模型，相比 2200 万参数的基线缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升，仅比基线低 0.7 dB，在商用移动 CPU 上实时因子降低 4.3 倍，搜索效率较随机搜索高 92%。
针对 DCASE 2025 挑战赛任务 4 基线 S5 系统（M2D 加 ResUNet）体积过大、不适合嵌入式设备的问题，该研究评估了改用轻量级音频标记与分离模型后的性能损失。标记环节对比了 PANNs、DyMNs 与基线 M2D 的标签预测准确率，分离环节以尺度不变信噪失真比比较了基于 SuDoRMRF 的卷积分离器与基线 ResUNet，最后用类感知信噪失真比评估不同组合下 S5 系统的整体表现。
RDSE 是面向双麦克风低端智能手机的实时定向语音增强框架，将视觉交互与特征推理解耦，仅用摄像头输入参数化空间滤波的导向矢量。系统由去混响网络、带时序卷积网络的波束成形器和基于 MetricGAN 的降噪器组成，在基准数据与真实录音上无需精确几何校准即可实现有效音频变焦，并通过实时直播验证了实用性。
针对 1B 和 3.5B 文本转语音扩散 Transformer 的首个 4-bit 权重与激活（W4A4）训练后量化研究显示，量化会同时损伤权重与激活，但只有激活具备可被精度调度利用的时间步结构。TTS-Q 从任务匹配的校准候选中筛选难量化项，并按预算均衡的混合精度调度为后期前馈激活分配更高精度，在两个规模上均最优恢复音色且不影响可懂度。
SEER 是一种基于检索的框架，学习哪种同情感参考能让每个源在人工耳蜗处理后仍可识别，无需平行录音或强度标签。其源条件检索器从采样的情感语音转换结果中学习 CI 感知效用，并用不确定性引导探索避免穷举配对。SEER 在 RAVDESS 上使 N8 的 Source macro-F1 提升 7.30 分，在 ESD 上提升 11.66 分，16 名听测者在 RAVDESS 各条件下增益显著。
OpenSVBench 是一个面向跨场景说话人验证评测的公开基准，其固定公开核心包含 26 个测试集、11 个场景组和 9.15M 条验证试验，并配有冻结的目标/非目标密钥。在线排行榜以诊断评测接口形式接受新系统的分数包，输出测试集细分、场景组指标、宏平均 EER/minDCF 及场景对比。对 18 个公开检查点的评测显示，宏平均 EER 相近的系统场景表现可能不同，单一场景的强性能不保证其他场景同样可靠。
一种轻量转换器以条件循环一致 GAN 在无平行数据下训练，可对任意目标声压级（SPL）实现连续 dB 尺度的人声强度转换，同时保留内容与说话人身份。在 log-mel、WavLM 和 SpeechTokenizer 三种表示对比中，WavLM 达到目标强度变化的 83%，并同步改变基频；感知评测确认幅度归一化后感知强度随目标等级上升。
一项研究利用 Cookie Theft 图片描述任务采集的自发语音，提取韵律、频谱和时间域的低层声学特征，评估多种机器学习分类器区分阿尔茨海默病患者与健康对照的能力，表现最佳的模型实现了具有临床意义的分组区分。结果支持将无创、低成本的音频筛查工具用于痴呆风险检测，并推动多模态与纵向评估框架的后续研究。
一项针对 LLM 驱动音色界面的测量研究发现，用户可触达的音色空间是每放置一个声音维度加一的 zonotope，而界面显示的位置与实测偏差约为该区域宽度的三倍。误差来自模型预测坐标和合成器参数插值两个独立来源，36 条细化指令中 26 条无可感知变化，较弱模型下界面未执行任何操作却报告已收敛。
EarLog 将耳机播放音频本身作为探测信号，通过内容条件化残差感知识别声反射（AR），在嵌入式控制器上实时运行，仅需低成本双麦克风附件。在 81 名参与者、16 款耳机、超 400 小时录音的评估中，该方法在临床参考基准上达到 99.0% 灵敏度和 98.7% 特异度，可在日常聆听中记录个体化 AR 事件，为听力风险的纵向研究提供数据。
EmoGavel 是一个面向多模态情感偏好学习的接地感知强化学习框架，通过可验证奖励同时学习偏好预测、错误定位、修复与缺失证据恢复。其先以 Grounded SFT 利用受控错误构造信息进行监督微调，再用 GA-GRPO 结合偏好门控接地奖励与动态零方差救援优化可验证结果。在 EmoPrefer 与受控错误评测集上，该方法提升了自然偏好预测与受控错误判别能力，并保持较强的错误接地性能。
语音活动检测（VAD）以毫秒级音频帧为单位判断是否含有人声，并以 0 到 1 的置信度输出二值结果，供 ASR/STT、LLM 等下游系统决定是否处理音频。算法按采集、分帧、特征提取、打分、状态决策五阶段循环运行，分为传统信号处理、神经网络和语义 AI 三类。VAD 只判断帧内是否有人声，判断说话人是否说完需由端点检测（endpointing）完成。
Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。
推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。
Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。
推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。
Hume AI 推出 Expression APIs，将声音与面部表情转化为结构化分数，估计他人对该表达的可能感知，语音侧还额外度量说话风格与嗓音特质；支持实时交互与离线录音分析标注两种模式。典型场景是让语音 Agent 识别客户语气中的挫败感——转写文字相同而情绪不同的情况。
推荐理由：把情绪信号做成可调用的结构化 API，补上语音 Agent 与情感计算管线里转写之外的关键一环。
Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型，接管 AEC3 中残差回声估计部分，默认开启且无开关，仅 Chrome 可用，Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比，远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB，每文件中位提升 5.4 dB，80% 文件更好，双讲时近端电平基本不变（中位 +0.04 dB）。在 125 个文件上用 Whisper small.en 测试语音代理场景，中位词错率从 0.500 降到 0.235。
推荐理由：作者用 AEC Challenge 语料实测 Chrome 神经回声消除器，给出回声抑制与语音识别词错率的对照结果。
继 DaVinci Resolve Studio 之后，Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro：每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线，可按行导演情绪、风格与语速，生成词级时间对齐字幕，并用约 10 秒自己的音频构建 100+ 语言的定制音色；使用自己的 Boson API key，按用量计费，Final Cut Pro 版本在开发中。
推荐理由：AI 配音进入主流专业剪辑软件时间线，把 TTS 能力落到视频生产工作流，实用面较广但属常规产品扩展。
Cactus 工程博客给出 Whistle（16.9 MB 端侧 STT 模型）的实用指南：输入为 16 kHz 单声道 float，单次调用最长 30 秒，超出需分片或走流式 API；word_timestamps=True 可输出词级起止与置信度，时间分辨率约 80 ms；流式模式下每个分块重转写缓冲音频，连续两轮一致的词才会提交，保证已出文本不被回改。
Cactus 发布开源语音识别模型 Whistle，单文件 16.9 MB、纯 CPU 运行无依赖，面向手机、可穿戴、机器人、智能家居、汽车与微控制器；支持英德法西意荷波 7 种语言（可自动检测），单次转写最长 30 秒 16 kHz 单声道音频，首 token 延迟 11 ms，输出词级时间戳，并与 Needle 共享同一 C++ 引擎与量化方案，可在浏览器端离线运行。
推荐理由：把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响，是端侧语音这一细分方向上规格突出的开源发布。
高通在骁龙峰会发布骁龙8至尊版Gen 6与骁龙8旗舰版Gen 6，旗舰版可本地运行300亿参数MoE模型并完成语音识别到合成的全链路Agent，标准版感知中枢支持2亿参数模型做个人速记与说话人区分，两款均内置实时降噪“语音气泡”。但MoE省的是计算量而非内存，300亿参数仍需量化压缩才能塞进手机，且芯片只处理麦克风收到的这段声音，跨设备传输的丢包、抖动与路径调度仍由声网SD-RTN这类实时网承担。
文章分析智能体语音克隆的要求：自然音色、实时节奏与内建同意机制，并区分赢得信任与失去信任的部署差别。
FunASR 1.4.16 发布，修复混合设备推理中 vad_kwargs、punc_kwargs、spk_kwargs 的设备放置问题：重复推理调用不再改变已加载模型的设备配置，说话人推理改用说话人模型自身配置。该版本同时说明 SenseVoiceSmall 或 Paraformer 何时需要 CT-Transformer 标点后处理，并新增经测试的中英文原生 Transformers 使用指南。混合设备回归测试使用 CPU 占位权重与模拟加速器，不构成 CUDA、MPS 或 NPU 性能认证。
Higgs TTS 3 API 新增文本归一化与词级时间戳：归一化默认开启，可将数字、日期、货币、URL、缩写等改写为口语形式，自动识别中英法德等 14 种语言，也可用 enable_tn: false 关闭。词级时间戳需设 timestamps: true，目前支持英语、中文和西班牙语，其他语言返回 null，且需将 stream 设为 false，与流式同用会返回 400 错误。
Cartesia 产品博客将音色类比为 LLM 的 system prompt：模型提供通用能力，音色作为输入塑造输出；文中区分固定说话人模型与带音色输入的模型，指出混淆两者会导致语音 AI 设计决策失误。