MotionCoach：为视频专业动作编辑构建多模态引导
MotionCoach 是一个经过训练的多模态智能体，通过多轮工具调用与自验证生成有依据的提示词和参考片段，为视频编辑模型注入专业动作知识。在 Seedance 2.0 上整体得分从 55.1 提升至 65.6，在 MiniMax-H3 上从 51.2 提升至 64.5，无需重新训练视频编辑模型。团队还构建了包含 314 项专业动作编辑任务的 VPMEBench 评测基准。
#评测/基准
arXiv cs.MM评分2424
MarkTechPost评分4242 TII 发布 Falcon-ASR：1.6B 阿拉伯语语音模型，平均 WER 20.92%
阿布扎比 TII 发布 1.6B 参数的阿拉伯语语音识别模型 Falcon-ASR，在 6 个阿拉伯语测试集上平均 WER 为 20.92%，比 Audar-ASR-V1-Turbo 的 23.17% 低 2.25 个百分点，在 TII 自建阿联酋方言测试集上比 30B 的 Qwen3-Omni 低 4.07 个百分点。该模型一套权重覆盖阿拉伯语（含阿联酋方言）、英语、法语、西班牙语和葡萄牙语，并输出词级时间戳，但目前仅提供 Hugging Face 演示（限 60 秒、20 MB），未公开权重、许可证和 API，所有成绩均为 TII 自评。
MarkTechPost评分2626 2026 年 12 款 AI 实时翻译工具盘点：延迟、语言与定价
MarkTechPost 对照官方产品、定价与文档页面，盘点了 12 款 AI 实时翻译工具，覆盖消费级应用、会议插件、活动平台和开发者 API。Palabra.ai 宣称延迟低于 1 秒，API 语音到语音每分钟 0.04 美元；Google Gemini 3.5 Live Translate 支持 70+ 种语言，Apple Live Translation 完全在设备端运行。各工具语言数量口径不一，需按自身语言对实测。
arXiv eess.AS评分2929 DEAF：音频语言模型声学忠实度诊断评估基准
针对 Audio MLLM 是否真正处理声学信号还是依赖文本语义推断的疑问，研究者提出 DEAF 基准，包含 2700 多条冲突刺激，覆盖情感韵律、背景声和说话人身份三个声学维度。配套的多级评估框架逐步增强文本影响，从内容语义冲突到误导性提示及其组合，并引入诊断指标量化模型对文本线索的依赖。对七个 Audio MLLM 的评估显示一致的文本主导模式：模型对声学变化敏感，但预测主要由文本输入驱动。
arXiv eess.AS评分2222 VoxAnon：用于公平评估语音匿名化的平衡数据集
VoxAnon 是基于 VoxCeleb1 和 2 构建的语音匿名化评估数据集，其训练与评测划分在性别、年龄、口音和音高上保持平衡，并用两种互补方法提取和交叉校验属性。对比不平衡数据在四种攻击者和三种匿名器下的表现，属性不平衡会改变哪些子群体最难被再识别，方向因属性而异；平衡设置下仍存在与口音和音高相关的残余差异，且取决于匿名器与攻击者的组合。
arXiv eess.AS评分3232 生成音乐的音频语言模型评委在听什么？四项带专家评分对照的探针测试
研究提出四项探针，检验开放音频语言模型作为生成音乐评委时究竟响应音乐、文本提示还是提问方式，并在 MusicEval 全部 2,748 个片段上测试五个开放评委。无音频时没有评委超过仅凭提示从人工评分预测的水平；有音频时所有评委在提示对齐上跟随所听片段，成对判断中四个较小评委的结论跟随片段位置而非质量，改写指令对多数评委相关性的影响与更换评委相当。
arXiv eess.AS评分3434 如何评估带外国口音的合成语音的自然度？
研究发现，广泛使用的自动语音质量评估系统 UTMOS 会给外国口音更重的人类语音打更低分。大规模主观评测显示，人类评估自然度时也会受口音程度影响，但将自然度定义为“像人”并选择更熟悉目标口音的评分者，可能实现更合适的评估。
arXiv eess.AS评分2828 位置重要吗？黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位
一项黑盒因果测试通过 CLAP 相似度定位声明的证据区域并用频谱门控移除，在三个 LALM 上对比随机窗口对照。在 Qwen2-Audio-7B 上，局部消融的原始 AUROC 为 0.613，低于空白波形的 0.721，但这是时长混淆所致；固定时长后定位在每个网格单元均优于随机移除。结合空白与语言先验对比的门控集成对比解码，将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。
arXiv eess.AS评分4040 OpenSVBench：诊断说话人验证跨部署场景的泛化能力
OpenSVBench 是一个面向跨场景说话人验证评测的公开基准，其固定公开核心包含 26 个测试集、11 个场景组和 9.15M 条验证试验，并配有冻结的目标/非目标密钥。在线排行榜以诊断评测接口形式接受新系统的分数包，输出测试集细分、场景组指标、宏平均 EER/minDCF 及场景对比。对 18 个公开检查点的评测显示，宏平均 EER 相近的系统场景表现可能不同，单一场景的强性能不保证其他场景同样可靠。
arXiv eess.AS评分2525 重新审视基于 DistilHuBERT 的口音分类：说话人分离评估与跨语料库泛化
一项基于 DistilHuBERT 的口音分类研究显示，文件级划分会显著高估模型性能，说话人分离评估才能更真实反映对未见说话人的泛化能力。研究使用 L2-ARCTIC 及多个外部英语口音数据集对比发现，仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC，均衡外部数据训练在监督设置中表现最好，而仅靠置信度过滤的伪标签在域不匹配下效果不足。
webrtcHacks精选评分7474 实测：Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一
Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。
推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。
Boson AI Blog评分4848 Higgs TTS 3 在 Hume 语音复刻榜单位列第四，口音参考音得分最高
Boson AI 的 Higgs TTS 3 在 Hume AI 语音复刻榜单中位列 11 个模型第四，口音参考音得分 4.28 为全场最高，略高于 VoxCPM2，并领先 Fish Audio S2 Pro、ElevenLabs v3 和 ElevenLabs Multilingual v2。该评测由三名人工评分者在不知模型来源的情况下按 1 至 5 分打分，测试集含 25 个参考音，其中 15 个带不同口音、9 个来自非英语母语者。Higgs TTS 3 的 Same Speaker 得分为 3.83，客观相似度 0.74 并列第三，音质 4.38 与最高分相差 0.23。该模型为开放权重，已在 Hugging Face 上线，上月下载量接近 10 万次，并可通过 Higgs TTS API 使用。
Hume AI Blog评分3636 评估 Google 多说话人 TTS：为什么私有评测很重要
Hume AI 用自建评分标准独立评测了 5 个 Gemini TTS 模型的多说话人对话能力，Gemini 3.8 Flash 与 3.8 Flash-Lite 综合得分最高，分别为 4.11 和 4.10。情感控制是各模型最强项，达 4.26 至 4.31；说话人区分度最弱，五个模型中四个垫底，同性别组合尤其困难，男男配对平均仅 2.87。
Hume AI Blog评分4040 Google Gemini 3.8 Flash TTS 登顶 Hume 真实世界 VoiceEQ 榜单
Hume 对 Google Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 预览版进行独立评测，两款模型分列 Expressivity–Reliability 前沿评分第一、第二，达 0.920 和 0.914。相比 Gemini 3.1 Flash TTS，长文本稳定性得分从 1.22 升至 2.89 和 3.03（五分制），语音设计可控性领先，但说话人相似度与部分精细控制仍偏弱。
Hume AI Blog精选评分6262 Hume 发布语音可控性排行榜，评测 17 个 TTS 模型
Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。
推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。
Tavus Blog精选评分7171 Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。
推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。
Hume AI Blog精选评分6262 Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果
Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。
推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。
Meta AI Research Blog评分2828 Meta 发布 Muse Spark 1.2 多模态评测结果：视觉编码、机器人与音视频理解
Meta 公布 Muse Spark 1.2 的多模态评测结果与演示，该版本在模型可调用工具时多模态提升最明显，覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码，机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务，Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。
Cartesia Blog评分3838 TTS 模型好不好？为什么语音合成评测随模型进步而失效，以及如何衡量真正重要的指标
Cartesia 发文分析 TTS 评测为何随模型进步而失效：语音合成是一对多映射，同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法，WER 在可懂度解决后趋于饱和，且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音，这些错误即使语音流畅也难以察觉。
AWS Media Blog精选评分6262 AWS 对比 NDI SpeedHQ 与 JPEG XS 的编解码画质基准
AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试，测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps，在 Amazon EC2 C6id.12xlarge 上运行，NDI 用 Advanced SDK 6.3.1，JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大，NDI SpeedHQ 在低码率下略优且存在质量上限；两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。
推荐理由：AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失，可据此判断长信号链下选哪种中间编解码器。
声网博客评分2828 2026年5月开源语音合成模型TTS推荐与测评：Higgs Audio V2、CosyVoice 2等六款横评
2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型，按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首，Higgs Audio V2情感表达4.7最强，VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行，Fish Speech协议为CC BY-NC-SA不可商用。
Daily.co Blog精选评分7171 Pipecat 发布语音智能体 STT 基准：对比 10 家服务的延迟与语义准确率
Pipecat 团队发布面向实时语音智能体的 STT 基准，在 1000 条真实人类语音样本上测试 10 家 STT 服务，同时衡量转写延迟（TTFS）与语义准确率。中位延迟上 Deepgram Nova 3（247ms，1.62% WER）、Soniox（249ms，1.29% WER）、Speechmatics（495ms，1.07% WER）位于帕累托前沿。基准用 Claude 做语义 WER 评估，只统计会导致 LLM 理解不同的错误，并强调 P95 延迟与 finalization 支持比中位数更影响对话体验；代码已在 GitHub 开源，Pipecat 0.0.102 起可设置 ttfs_p99_latency 参数。
推荐理由：Pipecat 团队用 1000 条真实语音对比 10 家 STT 服务的延迟与语义准确率，并给出可自行复现的基准工具。
Daily.co Blog精选评分6060 Daily 发布语音智能体 LLM 基准 aiwf_medium_context，测试长多轮工具调用与延迟
Daily 发布语音智能体基准 aiwf_medium_context，测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用，源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%，但都太慢，无法满足语音智能体所需的 1500ms 以内语音到语音响应（约对应文本模型 700ms TTFT）；生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash，AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出，GPT Realtime 通过率为 86.7%，低于 GPT-4.1 的 94.9%。
推荐理由：Daily 公开语音智能体基准的源码与结果，可看到长多轮对话下模型能力与延迟之间的取舍。