Anthropic 两位研究员 William Zhou 和 Daniel Freeman 的安全实验显示，GLM-5.2 在含 8 个 GCP 节点、运行 Android 15 redroid 模拟器的隔离网络中，5 次测试有 4 次自主攻陷并部署全部 8 台设备，另一次拿下 7 台，全程由 AI 自行扫描 ADB 端口、渗透、传输权重并部署 Llama3.1-8B 推理服务。研究还用 15 台 55 美元、4GB 内存的安卓电视盒子通过去中心化推理跑起 26B 的 Gemma4-26B-A4B，速度 0.39 token/s；并称 Memento 框架让 Qwen3.5-9B 六代繁殖的部署成功率从 45% 升至 61% 至 84%。
日本研究者发布 ManzaiSet 多模态数据集，收录 241 名日语母语者对漫才表演的 2,301 条观看记录，含 191.8 小时面部视频与麦克风音频。观众在家以随机顺序观看最多 10 段专业表演并按 0-100 评分，探索性分析发现观众平均评分及评分波动存在个体差异，观看顺序靠后的表演平均得分更高，幽默类别间未发现显著差异。
MotionCoach 是一个经过训练的多模态智能体，通过多轮工具调用与自验证生成有依据的提示词和参考片段，为视频编辑模型注入专业动作知识。在 Seedance 2.0 上整体得分从 55.1 提升至 65.6，在 MiniMax-H3 上从 51.2 提升至 64.5，无需重新训练视频编辑模型。团队还构建了包含 314 项专业动作编辑任务的 VPMEBench 评测基准。
Formula 1 与 AWS 合作在 2026 年 4 月为 12PB 的 F1 Video Archive 上线 Media Archive Discovery 系统，用 Amazon Bedrock 将自然语言请求转成精确检索，用户输入“find celebrations after Leclerc's first Ferrari win”即可直接取到片段。该 AI 层只做查询增强，不替换原有 OpenSearch Service 引擎，日常检索不受影响；任一步骤失败时回退到纯文本搜索，保证始终有结果返回。
前 Plaud 高管创办的 Ambi 于 2026 年 10 月 12 日宣布融资 2600 万美元，并推出 iPhone、Mac 和 Apple Watch 应用，可在后台持续采集环境音频并处理用户全天听到的内容。该应用以常驻监听取代手动录音，改变了录音者及周围人的同意机制；公司尚未详细说明音频存储、访问权限及哪些数据会离开设备。
前Plaud高管Peter Mo创办的Ambi完成2600万美元多轮融资，由Luminous Ventures和华勤领投，并推出iPhone、Mac和Apple Watch应用。该应用可全天候监听用户，在会议中主动给出建议，并支持跨设备续接任务。环境采集默认关闭、用户可随时关闭，但告知他人的责任仍在用户，公司称不存储录音并加密数据。
Google DeepMind 的 Thor Schaeff 介绍 Gemini API 的实时语音代理能力，包括低延迟、带音频标签的 TTS 模型，以及支持约 90 种语言、可自动检测说话语言并翻译成听者偏好语言的实时翻译模型。他还演示了面向实时对话代理的 Gemini 3.1 Flash Live，其底层 Live API 是低延迟 WebSocket 接口，支持流式文本、音频和视频，具备原生音频理解、打断处理、工具调用和音频转写能力，并提到与 LifeKit、PipeKit 的合作。开发者可通过 Google AI Studio 的 ai.studio/live 和 ai.dev/live 体验。
Cloudflare 于 9 月 9 日发布开源权重决策模型 Clef-omni，可在一次调用中接收文本、图像、音频和视频，按允许答案返回概率，无需先做转写或字幕。它基于阿里 Qwen3-Omni-30B-A3B 去掉语音输出并加训决策层，30B 参数中每 token 仅 3B 参与计算；消息分类表现稳定，但加入音视频后 agent 任务准确率有所下降，且官方未公布音视频基准。Cloudflare 同时把 Clef-flash 输入价格降至每百万 token 0.038 美元，但托管版 Clef-flash 上下文从 64,000 降至 24,000 token。
上海大模型公司模思智能（MOSI）宣布完成超10亿元Pre-A轮融资，由华控基金领投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司孵化于复旦大学邱锡鹏团队的OpenMOSS团队，今年已发布20多个模型，即将推出采用前后端模型协同架构的MOSS Live系统，面向AI眼镜、智能汽车及机器人等场景。
模思智能完成超10亿元Pre-A轮融资，由华控基金领投，国开科创、上海科创基金等参投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司由上海创智学院与复旦大学联合孵化，2026年上半年已围绕语音、视觉和实时多模态连续发布20多个模型并持续开源，即将发布的MOSS Live由前端交互模型与后端能动性模型协同工作。
模思智能完成超10亿元Pre-A轮融资，由华控基金领投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司2024年底孵化于邱锡鹏带领的OpenMOSS团队，聚焦语音、视觉及实时多模态交互，即将发布MOSS Live系统，通过前端交互模型与后端能动性模型协同实现实时交流、复杂推理和任务执行。
模思智能完成超10亿元Pre-A轮融资，由华控基金领投，国开科创、上海科创基金、新微资本等参投，元禾控股等老股东持续投资。资金将用于推进全模态实时交互智能的研发与能力建设，以及全球商业化落地。该公司由复旦大学教授邱锡鹏创立，计划推出实时交互系统MOSS Live。
阿布扎比 TII 发布 1.6B 参数的阿拉伯语语音识别模型 Falcon-ASR，在 6 个阿拉伯语测试集上平均 WER 为 20.92%，比 Audar-ASR-V1-Turbo 的 23.17% 低 2.25 个百分点，在 TII 自建阿联酋方言测试集上比 30B 的 Qwen3-Omni 低 4.07 个百分点。该模型一套权重覆盖阿拉伯语（含阿联酋方言）、英语、法语、西班牙语和葡萄牙语，并输出词级时间戳，但目前仅提供 Hugging Face 演示（限 60 秒、20 MB），未公开权重、许可证和 API，所有成绩均为 TII 自评。
MarkTechPost 对照官方产品、定价与文档页面，盘点了 12 款 AI 实时翻译工具，覆盖消费级应用、会议插件、活动平台和开发者 API。Palabra.ai 宣称延迟低于 1 秒，API 语音到语音每分钟 0.04 美元；Google Gemini 3.5 Live Translate 支持 70+ 种语言，Apple Live Translation 完全在设备端运行。各工具语言数量口径不一，需按自身语言对实测。
针对 Audio MLLM 是否真正处理声学信号还是依赖文本语义推断的疑问，研究者提出 DEAF 基准，包含 2700 多条冲突刺激，覆盖情感韵律、背景声和说话人身份三个声学维度。配套的多级评估框架逐步增强文本影响，从内容语义冲突到误导性提示及其组合，并引入诊断指标量化模型对文本线索的依赖。对七个 Audio MLLM 的评估显示一致的文本主导模式：模型对声学变化敏感，但预测主要由文本输入驱动。
针对 TTS 一对多问题，BELLE 在 MELLE 等连续值自回归 TTS 架构上为每帧 mel 频谱的均值和方差引入贝叶斯先验并由输入预测，同时保持单次采样。由于估计方差需同一文本的多条录音，作者构建了真实录音 ParallelVox 与在 LibriSpeech 上加入六个预训练 TTS 教师语音的 LS+6TTS。相同训练条件下 BELLE 优于 MELLE，并支持流式生成。
研究以视频-文本到语音（VTTS）合成任务为测试平台，用基于解码器的统一 Transformer 模型 Visatronic 考察序列设计如何影响异构采样率模态间的同步。全局顺序索引与共时有序索引在域内同步表现相当，但域偏移下同步取决于 token 顺序与位置 ID 设计的交互，文本优先的共时索引在评估变体中迁移最稳健。文本支撑可懂度、视频提供时间线索与情感表达，视频优先域内更强而文本优先泛化更好；新提出的音素级指标 TimeSync 可揭示帧级指标遗漏的时间错位。
研究基于自然实验室与真实场景的儿童指向语音（CDS）和成人指向语音（ADS）语料，建立了区分二者的分类基准。自监督学习（SSL）表示表现最佳，而引入高维嵌入跨通道协方差的时间池化方法提供了互补优势。线性探针分析显示不同池化方法对韵律信息的捕捉方式各异。
研究者提出 SENSE（Semantic-EEG Neural Speech SynthEsis），用基于电极几何的图编码器结合 EEG 语义条件（ESC），将 EEG 对齐到预训练语义空间，从非侵入式脑信号合成语音。在 N400 数据集上，SENSE 在声学与语义指标上均优于此前方法；仅用两名受试者训练，其词错误率已超过用全部十八名受试者训练的最强基线。
针对 Speech-LLM 在儿童或方言等域偏移语音上适应不足的问题，研究者提出领域自适应微调方法 EAVA：先在各编码器层插入轻量 Adapter 单独训练，再结合 LLM 上的 LoRA 联合微调全模型。在三个域偏移 ASR 数据集上，EAVA 持续优于常规微调及其他基线，取得新的最优性能。
研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减，并据此设计基于能力边界感知的多阶段训练策略。该方法重新设计预训练以缓解语音-文本模态差距，并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段以保持功能解耦、抑制编码器表征漂移。在普通话和英语基准上，仅用 2.3B 参数即达到与 SOTA 模型相当的性能，并有效缓解幻觉。
针对呼叫中心银行领域 ASR 训练数据不足的问题，研究对比了 TTS 与 KNNVC、Seed-VC、Vec2Wav2 等语音转换方法，以 WER 和 CER 为指标评估合成数据对识别性能的影响。结果显示语音质量和 ASR 准确率均有显著提升，其中 Seed-VC 表现尤为突出，表明语音转换技术可有效增强 ASR 系统。
AudioTETRIS 是一个免训练的两阶段框架，利用音频编码器的表示几何作为声学先验，在 LLM 解码器中计算逐 Token 融合分数并逐层进行 top-k 选择，无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 Token 即可在多项语音任务上保持接近未压缩的性能，中等压缩率下可持平或超过全 Token 准确率，并持续优于现有免训练基线。
EAGLE-ASR 通过 EAGLE 风格投机解码加速 ASR 推理，同时严格保持无损输出质量。其 Speech-Draft 轻量自回归模块联合利用编码器声学特征与目标 ASR 模型的分层解码器表示，配合多步生成策略和自蒸馏数据训练。在 Whisper 与 Conformer AED 模型上分别实现最高 1.9 倍和 2.4 倍无损加速，并泛化至多语言 ASR 与语音翻译任务。
研究者提出轻量前端 LATTE（5.2M 参数），通过声学难度估计器、任务自适应音韵先验和自适应 Hourglass 提取器，在推理时无需语言标识即可为每个混合语音分配计算量。在 PolyExtract 上，LATTE 以 0.30 GFLOPs 达到 15.07 dB 的 macro SI-SNRi，性能与 0.53 GFLOPs 固定深度模型相差 0.09 dB 以内，同时计算量减少 43.4%，并将平均 WER 从 TF-GridNet 的 16.8% 降至 14.6%。
研究提出四项探针，检验开放音频语言模型作为生成音乐评委时究竟响应音乐、文本提示还是提问方式，并在 MusicEval 全部 2,748 个片段上测试五个开放评委。无音频时没有评委超过仅凭提示从人工评分预测的水平；有音频时所有评委在提示对齐上跟随所听片段，成对判断中四个较小评委的结论跟随片段位置而非质量，改写指令对多数评委相关性的影响与更换评委相当。
研究提出 QC-MI-OVSEL 基准，包含 40,000 个一阶 Ambisonics 场景、83 类共 80,000 个均衡的查询视图，其中 17 类为训练与开发阶段未见过的新类别。同时提出 Q-RSet，用查询条件源槽与基于责任度的证据聚合做源集合预测，在源恢复、定位召回、基数估计与缺失查询抑制上优于基线。分析显示新类别、改写查询和更高源数量主要影响源发现与集合补全，已恢复源的方位精度相对稳定。
一项黑盒因果测试通过 CLAP 相似度定位声明的证据区域并用频谱门控移除，在三个 LALM 上对比随机窗口对照。在 Qwen2-Audio-7B 上，局部消融的原始 AUROC 为 0.613，低于空白波形的 0.721，但这是时长混淆所致；固定时长后定位在每个网格单元均优于随机移除。结合空白与语言先验对比的门控集成对比解码，将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。
一项芬兰语语音 SSL 研究以 210 万小时无约束广播音频为起点，提出用 ASR 置信度作为预训练数据质量代理，在训练集更小的情况下相比基于 LID 的过滤取得 3-7% 的相对 WER 改善。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 与 E-Branchformer，模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。
AV-FlowEdit 是一个无需训练、无需反演的提示驱动音视频编辑框架，利用源-目标流差异同时提供跨模态编辑方向与保持线索，在共享扰动下联合更新视频和音频分支，支持纯视觉、纯音频和联合编辑。其跨模态事件感知频谱轨迹保持机制结合流显著性、对齐音频活动、多尺度低频位移与扩散阶段调度，抑制采样漂移并自适应保留非目标区域。实验显示该方法具备较强的提示对齐与时间一致性，以及有竞争力的音频质量和跨模态连贯性。
LiveSynth 是一个流式神经合成器，支持零样本乐器克隆与文本生成乐器，可在演奏中实时交互。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件，以 100 Hz 输出连续音频潜变量，再由因果变分自编码器解码为音频；逐帧音色条件支持连续音色变形，MIDI 条件 dropout 支持从演奏前缀自主延续。在 NSynth 和 Slakh 数据集上，其音色相似度与频谱重建质量与离线基线相当；在 M3 MacBook Air 上每 10 ms 音频帧需 8.8 ms 计算，RTF 为 0.88，算法延迟 10 ms。
针对扩散式 TTS 情感对齐只强化目标情绪、忽略竞争情绪模式的问题，研究者提出 Emo-BPO，从重排的同文本情感对中联合学习情感对齐与情感对比的评分函数。该方法无需辅助奖励模型或额外标注，可集成到现有扩散式 TTS 系统中，提升情感可控性与表现力，已被 Interspeech 2026 接收。
一种免训练、与奖励无关的两阶段框架 Spend Where It Matters 将粒子搜索与 Metropolis-Hastings（MH）精修结合，在固定算力预算下提升音视频联合生成的对齐奖励。第一阶段按在线方差估计在去噪检查点间自适应分配粒子，为 MH 提供强候选，从而在不扩大粒子规模的情况下获得更高奖励。在 JavisBench-Mini 上，与算力接近时，该方法配合 JavisDiT++ 相对 BoN 平均提升 30.7%、相对 EvoSearch 提升 14.1%。
一种强化学习驱动的神经架构搜索（RL-NAS）框架被用于发现紧凑高效的音视频语音增强（AVSE）架构，仅评估 35 个候选架构即找到 290 万参数模型，相比 2200 万参数的基线缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升，仅比基线低 0.7 dB，在商用移动 CPU 上实时因子降低 4.3 倍，搜索效率较随机搜索高 92%。
针对 DCASE 2025 挑战赛任务 4 基线 S5 系统（M2D 加 ResUNet）体积过大、不适合嵌入式设备的问题，该研究评估了改用轻量级音频标记与分离模型后的性能损失。标记环节对比了 PANNs、DyMNs 与基线 M2D 的标签预测准确率，分离环节以尺度不变信噪失真比比较了基于 SuDoRMRF 的卷积分离器与基线 ResUNet，最后用类感知信噪失真比评估不同组合下 S5 系统的整体表现。
RDSE 是面向双麦克风低端智能手机的实时定向语音增强框架，将视觉交互与特征推理解耦，仅用摄像头输入参数化空间滤波的导向矢量。系统由去混响网络、带时序卷积网络的波束成形器和基于 MetricGAN 的降噪器组成，在基准数据与真实录音上无需精确几何校准即可实现有效音频变焦，并通过实时直播验证了实用性。
针对 1B 和 3.5B 文本转语音扩散 Transformer 的首个 4-bit 权重与激活（W4A4）训练后量化研究显示，量化会同时损伤权重与激活，但只有激活具备可被精度调度利用的时间步结构。TTS-Q 从任务匹配的校准候选中筛选难量化项，并按预算均衡的混合精度调度为后期前馈激活分配更高精度，在两个规模上均最优恢复音色且不影响可懂度。
SEER 是一种基于检索的框架，学习哪种同情感参考能让每个源在人工耳蜗处理后仍可识别，无需平行录音或强度标签。其源条件检索器从采样的情感语音转换结果中学习 CI 感知效用，并用不确定性引导探索避免穷举配对。SEER 在 RAVDESS 上使 N8 的 Source macro-F1 提升 7.30 分，在 ESD 上提升 11.66 分，16 名听测者在 RAVDESS 各条件下增益显著。
OpenPA 是一种无需强制对齐的自动发音评估框架，利用 Whisper 的交叉注意力机制同时预测词级和语句级发音得分。它通过混合转写自适应与自适应替换加权，在单一模型中兼容封闭与开放回答场景的异构转写，仅用 speechocean762 训练即在域内封闭和模拟开放条件下取得最优整体表现，并在 MultiPA 上保持零样本性能。
OpenSVBench 是一个面向跨场景说话人验证评测的公开基准，其固定公开核心包含 26 个测试集、11 个场景组和 9.15M 条验证试验，并配有冻结的目标/非目标密钥。在线排行榜以诊断评测接口形式接受新系统的分数包，输出测试集细分、场景组指标、宏平均 EER/minDCF 及场景对比。对 18 个公开检查点的评测显示，宏平均 EER 相近的系统场景表现可能不同，单一场景的强性能不保证其他场景同样可靠。