跳到正文
10月13日周二
  1. arXiv cs.MM24

    MotionCoach:为视频专业动作编辑构建多模态引导

    MotionCoach 是一个经过训练的多模态智能体,通过多轮工具调用与自验证生成有依据的提示词和参考片段,为视频编辑模型注入专业动作知识。在 Seedance 2.0 上整体得分从 55.1 提升至 65.6,在 MiniMax-H3 上从 51.2 提升至 64.5,无需重新训练视频编辑模型。团队还构建了包含 314 项专业动作编辑任务的 VPMEBench 评测基准。

10月12日周一
  1. MarkTechPost42

    TII 发布 Falcon-ASR:1.6B 阿拉伯语语音模型,平均 WER 20.92%

    阿布扎比 TII 发布 1.6B 参数的阿拉伯语语音识别模型 Falcon-ASR,在 6 个阿拉伯语测试集上平均 WER 为 20.92%,比 Audar-ASR-V1-Turbo 的 23.17% 低 2.25 个百分点,在 TII 自建阿联酋方言测试集上比 30B 的 Qwen3-Omni 低 4.07 个百分点。该模型一套权重覆盖阿拉伯语(含阿联酋方言)、英语、法语、西班牙语和葡萄牙语,并输出词级时间戳,但目前仅提供 Hugging Face 演示(限 60 秒、20 MB),未公开权重、许可证和 API,所有成绩均为 TII 自评。

  2. MarkTechPost26

    2026 年 12 款 AI 实时翻译工具盘点:延迟、语言与定价

    MarkTechPost 对照官方产品、定价与文档页面,盘点了 12 款 AI 实时翻译工具,覆盖消费级应用、会议插件、活动平台和开发者 API。Palabra.ai 宣称延迟低于 1 秒,API 语音到语音每分钟 0.04 美元;Google Gemini 3.5 Live Translate 支持 70+ 种语言,Apple Live Translation 完全在设备端运行。各工具语言数量口径不一,需按自身语言对实测。

  3. arXiv eess.AS29

    DEAF:音频语言模型声学忠实度诊断评估基准

    针对 Audio MLLM 是否真正处理声学信号还是依赖文本语义推断的疑问,研究者提出 DEAF 基准,包含 2700 多条冲突刺激,覆盖情感韵律、背景声和说话人身份三个声学维度。配套的多级评估框架逐步增强文本影响,从内容语义冲突到误导性提示及其组合,并引入诊断指标量化模型对文本线索的依赖。对七个 Audio MLLM 的评估显示一致的文本主导模式:模型对声学变化敏感,但预测主要由文本输入驱动。

  4. arXiv eess.AS22

    VoxAnon:用于公平评估语音匿名化的平衡数据集

    VoxAnon 是基于 VoxCeleb1 和 2 构建的语音匿名化评估数据集,其训练与评测划分在性别、年龄、口音和音高上保持平衡,并用两种互补方法提取和交叉校验属性。对比不平衡数据在四种攻击者和三种匿名器下的表现,属性不平衡会改变哪些子群体最难被再识别,方向因属性而异;平衡设置下仍存在与口音和音高相关的残余差异,且取决于匿名器与攻击者的组合。

  5. arXiv eess.AS32

    生成音乐的音频语言模型评委在听什么?四项带专家评分对照的探针测试

    研究提出四项探针,检验开放音频语言模型作为生成音乐评委时究竟响应音乐、文本提示还是提问方式,并在 MusicEval 全部 2,748 个片段上测试五个开放评委。无音频时没有评委超过仅凭提示从人工评分预测的水平;有音频时所有评委在提示对齐上跟随所听片段,成对判断中四个较小评委的结论跟随片段位置而非质量,改写指令对多数评委相关性的影响与更换评委相当。

  6. arXiv eess.AS28

    位置重要吗?黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位

    一项黑盒因果测试通过 CLAP 相似度定位声明的证据区域并用频谱门控移除,在三个 LALM 上对比随机窗口对照。在 Qwen2-Audio-7B 上,局部消融的原始 AUROC 为 0.613,低于空白波形的 0.721,但这是时长混淆所致;固定时长后定位在每个网格单元均优于随机移除。结合空白与语言先验对比的门控集成对比解码,将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。

  7. arXiv eess.AS40

    OpenSVBench:诊断说话人验证跨部署场景的泛化能力

    OpenSVBench 是一个面向跨场景说话人验证评测的公开基准,其固定公开核心包含 26 个测试集、11 个场景组和 9.15M 条验证试验,并配有冻结的目标/非目标密钥。在线排行榜以诊断评测接口形式接受新系统的分数包,输出测试集细分、场景组指标、宏平均 EER/minDCF 及场景对比。对 18 个公开检查点的评测显示,宏平均 EER 相近的系统场景表现可能不同,单一场景的强性能不保证其他场景同样可靠。

  8. arXiv eess.AS25

    重新审视基于 DistilHuBERT 的口音分类:说话人分离评估与跨语料库泛化

    一项基于 DistilHuBERT 的口音分类研究显示,文件级划分会显著高估模型性能,说话人分离评估才能更真实反映对未见说话人的泛化能力。研究使用 L2-ARCTIC 及多个外部英语口音数据集对比发现,仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC,均衡外部数据训练在监督设置中表现最好,而仅靠置信度过滤的伪标签在域不匹配下效果不足。

10月8日周四
  1. webrtcHacks74

    实测:Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一

    Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半,也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理,在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次:回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%,失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB,约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行,增益控制器在此期间把自适应数字增益从 15 dB 调高,放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后,三次失败落在 384 到 500 ms 之间,而 smart-turn-v3 以 0.954 的置信度判定回声已说完,说明问题出在流水线看不到的浏览器组件。

    推荐理由:作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率,并给出 VAD 阈值取舍的实测依据。

10月6日周二
  1. webrtcHacks80

    Chrome 静默上线神经回声消除器,实测回声抑制提升 5.4 dB

    Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型,接管 AEC3 中残差回声估计部分,默认开启且无开关,仅 Chrome 可用,Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比,远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB,每文件中位提升 5.4 dB,80% 文件更好,双讲时近端电平基本不变(中位 +0.04 dB)。在 125 个文件上用 Whisper small.en 测试语音代理场景,中位词错率从 0.500 降到 0.235。

    推荐理由:作者用 AEC Challenge 语料实测 Chrome 神经回声消除器,给出回声抑制与语音识别词错率的对照结果。

10月2日周五
  1. Boson AI Blog48

    Higgs TTS 3 在 Hume 语音复刻榜单位列第四,口音参考音得分最高

    Boson AI 的 Higgs TTS 3 在 Hume AI 语音复刻榜单中位列 11 个模型第四,口音参考音得分 4.28 为全场最高,略高于 VoxCPM2,并领先 Fish Audio S2 Pro、ElevenLabs v3 和 ElevenLabs Multilingual v2。该评测由三名人工评分者在不知模型来源的情况下按 1 至 5 分打分,测试集含 25 个参考音,其中 15 个带不同口音、9 个来自非英语母语者。Higgs TTS 3 的 Same Speaker 得分为 3.83,客观相似度 0.74 并列第三,音质 4.38 与最高分相差 0.23。该模型为开放权重,已在 Hugging Face 上线,上月下载量接近 10 万次,并可通过 Higgs TTS API 使用。

9月30日周三
9月29日周二
9月24日周四
  1. Hume AI Blog40

    Google Gemini 3.8 Flash TTS 登顶 Hume 真实世界 VoiceEQ 榜单

    Hume 对 Google Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 预览版进行独立评测,两款模型分列 Expressivity–Reliability 前沿评分第一、第二,达 0.920 和 0.914。相比 Gemini 3.1 Flash TTS,长文本稳定性得分从 1.22 升至 2.89 和 3.03(五分制),语音设计可控性领先,但说话人相似度与部分精细控制仍偏弱。

9月22日周二
9月21日周一
9月17日周四
  1. Hume AI Blog62

    Hume 发布语音可控性排行榜,评测 17 个 TTS 模型

    Hume 发布 Voice Controllability Leaderboard,从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型,采用数万条人工评分而非 LLM 评委,理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先:Google 与 ElevenLabs 总体领先但各有短板,开源模型在语音设计上仍有竞争力;性别平均准确率 97.87%,年龄仅 51.8%,讽刺是最难传达的语气。

    推荐理由:榜单用数万条人工评分对比 17 个语音模型的可控性,并指出 LLM 评委可能因数据泄漏抬高分数。

9月14日周一
  1. Tavus Blog71

    Tavus 发布 Sparrow-2 对话理解模型,在 TurnBench 轮次切换两项任务上领先

    Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2,不再依赖降噪和静音计时器,而是保留并分类背景语音、噪声、反馈语和打断等信号,联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split(38 段对话、7.3 小时音频)上,它取得 92.4% 的轮次结束召回和 97.4% 的打断召回,是唯一同时领先两项任务的系统,中位决策延迟 632 ms,7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行,处理 80 ms 音频约需 7 ms,可容忍 6 至 8 秒的思考停顿,现已通过 Tavus API 和平台正式可用。

    推荐理由:Sparrow-2 把轮次切换从端点检测改为整体对话状态建模,并给出与十四套系统的基准对比,可据此判断语音智能体在嘈杂环境中的可用边界。

9月10日周四
  1. Hume AI Blog62

    Hume 发布语音复刻排行榜,评测 11 个 TTS 模型的克隆效果

    Hume 发布 Voice Replication Leaderboard,作为 Real World VoiceEQ Benchmark 的新组件,用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力,评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先:Cartesia sonic-3.6-beta 自然度最高(4.36)但同一说话人仅排第八(3.63),OpenBMB VoxCPM2 同一说话人第一(4.21)而自然度第五(3.96);音质分数集中在 3.85 至 4.61,同一说话人分数跨度更大,为 2.91 至 4.21。

    推荐理由:榜单把说话人相似度、自然度、音质和客观相似度分开评测,并给出按口音与情绪拆分的对比,可供选型时参考。

8月28日周五
  1. Inworld AI Blog62

    Inworld 开源 TTS 评测工具包:配置随结果存档、分数可溯源到样例与 ASR 转写

    Inworld 开源 TTS Open Evaluation Toolkit:离线采样各 TTS 系统并生成可对比报告,每次运行把配置与逐样例测量一起存档,用户可从分数回溯到源文本、音频、ASR 转写与所用阈值;首发包含常见指标与一套专门的英语对话压力测试集。针对同模型不同团队测出不同 WER(因 ASR 选择、文本归一化、失败样例取舍)这一评测不可复现问题。

    推荐理由:直击 TTS 评测不可复现的痛点,把协议与测量绑定存档的做法对建立可比基准有实际价值。

7月28日周二
  1. Cartesia Blog38

    TTS 模型好不好?为什么语音合成评测随模型进步而失效,以及如何衡量真正重要的指标

    Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。

7月22日周三
  1. AWS Media Blog62

    AWS 对比 NDI SpeedHQ 与 JPEG XS 的编解码画质基准

    AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试,测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps,在 Amazon EC2 C6id.12xlarge 上运行,NDI 用 Advanced SDK 6.3.1,JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大,NDI SpeedHQ 在低码率下略优且存在质量上限;两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。

    推荐理由:AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失,可据此判断长信号链下选哪种中间编解码器。

7月15日周三
  1. 声网博客74

    声网首测 GPT-Live:响应延迟中位数 1099ms、波动缩 5 倍

    Agora 实验室用 iPhone 13 加人工发声设备、可控网络模拟丢包、双轨录音逐帧取时、每项 n=30 的方法测试三代 ChatGPT 语音模式:GPT-Live-1 正常网络中位响应 1099ms(P90 1203ms、SD 104ms),Advanced Voice Mode 为 1304ms(P90 2318ms、SD 489ms),Standard 级联模式 5197ms;10% 上行丢包下 GPT-Live 仅增 314ms,同级丢包的 P90 仍优于零丢包的上一代;插话停止延迟中位数 1399ms 比上一代慢 498ms,但背景人声误触发从 22 次降到 1 次。

    推荐理由:方法论透明、样本量与局限都交代清楚的端到端延迟实测,弱网下的对比尤其有信息量。

  2. 海外技术动态58

    Phoronix 99 项基准对比三系统:SVT-AV1/OpenAPV 编码 Linux 领先 Windows 11

    Phoronix 在 Core Ultra 9 290HX + RTX 5090 的 Razer Blade 18 上对比 Ubuntu 26.04 LTS、Windows 11 与 CachyOS 共 99 项测试:视频编码方面 Linux 明显占优,Ubuntu/CachyOS 在 OpenAPV 编码的全部设置下压制 Windows 11,AV1(SVT-AV1)编码同样领先,而 Kvazaar H.265 的 1080p 档位下 Windows 11 反而最快;综合几何平均 Windows 11 与 CachyOS 基本持平,但本地 AI/LLM 负载 Windows 11 有约 3 倍的性能优势场景。

    推荐理由:覆盖 SVT-AV1、OpenAPV、Kvazaar 三类编码器的受控系统级实测,为编码农场操作系统选型提供量化依据。

7月10日周五
7月2日周四
  1. webrtcHacks62

    在 Chromium 中启用 libopus AVX2 使 Opus 编码提速约 20%

    作者在桌面 Chromium 的 libopus 构建中启用 AVX2 向量化,替换失效的 OPUS_X86_MAY_HAVE_AVX 并新增 opus_avx2 source_set,编译三个 _avx2.c 内核,使 Opus 编码时间减少 23%。实测显示语音编码下降 17% 至 23%,在复杂度 8、9、10 下稳定;音乐仅降约 2%,解码基本不变。约 96% 的 SILK 收益来自 silk_NSQ_del_dec,该改动已进入 Chromium 152。

  2. 中文技术动态60

    腾讯云 Tencent-RTC 云游戏实践:稳定网络端到端 50-70ms

    腾讯云游戏用自研 Tencent-RTC 做抗抖动与网络自适应:发送端缓存视频帧、接收端按网络动态调缓冲深度,并用预测算法生成中间帧补偿丢包;传输上基于 UDP 并叠加 FEC 与 ARQ,按数据类型(游戏指令、视频帧、音频)设差异化优先级;量化表现为稳定网络下端到端 50-70ms,盛趣游戏案例做到 1080P/60 帧下延迟小于 40ms,全球部署 2000+ 边缘节点。

    推荐理由:云游戏这一延迟最敏感场景的厂商实测数据与机制说明,40ms/1080P60 的案例有参考价值。

6月30日周二
  1. Cartesia Blog30

    如何为真实场景选择语音 AI 模型:ASR、TTS 与轮次检测评估指南

    Cartesia 提出按真实用例而非实验室基准选择语音 AI 模型,指出演示中 600–800ms 的往返延迟在真实电话网络上会升至 2–4 秒、P95 达 5 秒。评估 ASR 应看完整转写时间 TTCT 而非首 token 延迟,端到端低于 200ms 对话才自然,超过 1 秒用户会重复发言;轮次检测的精确率与召回率决定打断和响应表现。

6月20日周六
  1. Netflix Technology Blog78

    Netflix 开源 VMAF v1:修正压缩伪影偏置与色带盲区,NEG 默认开启

    Netflix 发布 VMAF v1(模型随 libvmaf v3.2.0 于 2026-06-20 上线):在 DLM 基础上加入 AIM 分量以修正 v0 低码率下偏向切高分辨率、偏爱压缩伪影的系统性偏差;以基于归一化观看距离的特征调整取代 v0 手机模型的二阶多项式映射,避免手机端画质高估;整合 CAMBI 色带检测与色度特征,并将 NEG(抑制增强处理虚增分数)默认开启。v1 提供 1080p、phone、4K 近距/常规观看距离模型,HDR 版本在开发中。

    推荐理由:VMAF 是行业事实上的编码评估标准,v1 对系统误差的修正会改变各家的码率梯设计与编码器对比结论。