跳到正文
#音频处理
  1. webrtcHacks74

    实测：Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一

    Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。

    推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。

  1. Hume AI Blog58

    Hume 拆解表情测量模型：面部与语音情绪信号如何变成可评测的结构化分数

    Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。

    推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。

  1. Hume AI Blog65

    Hume AI 发布 Expression APIs：把语音与面部表情转为结构化感知分数

    Hume AI 推出 Expression APIs，将声音与面部表情转化为结构化分数，估计他人对该表达的可能感知，语音侧还额外度量说话风格与嗓音特质；支持实时交互与离线录音分析标注两种模式。典型场景是让语音 Agent 识别客户语气中的挫败感——转写文字相同而情绪不同的情况。

    推荐理由：把情绪信号做成可调用的结构化 API，补上语音 Agent 与情感计算管线里转写之外的关键一环。

  2. webrtcHacks80

    Chrome 静默上线神经回声消除器，实测回声抑制提升 5.4 dB

    Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型，接管 AEC3 中残差回声估计部分，默认开启且无开关，仅 Chrome 可用，Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比，远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB，每文件中位提升 5.4 dB，80% 文件更好，双讲时近端电平基本不变（中位 +0.04 dB）。在 125 个文件上用 Whisper small.en 测试语音代理场景，中位词错率从 0.500 降到 0.235。

    推荐理由：作者用 AEC Challenge 语料实测 Chrome 神经回声消除器，给出回声抑制与语音识别词错率的对照结果。

  3. Boson AI Blog55

    Boson Higgs VoiceOver 登陆 Premiere Pro：Higgs TTS 3 驱动的可导挥 AI 配音与词级字幕

    继 DaVinci Resolve Studio 之后，Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro：每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线，可按行导演情绪、风格与语速，生成词级时间对齐字幕，并用约 10 秒自己的音频构建 100+ 语言的定制音色；使用自己的 Boson API key，按用量计费，Final Cut Pro 版本在开发中。

    推荐理由：AI 配音进入主流专业剪辑软件时间线，把 TTS 能力落到视频生产工作流，实用面较广但属常规产品扩展。

  1. Cactus Engineering Blog65

    Cactus 开源 Whistle：16.9 MB 端侧语音识别模型，7 种语言、首 token 11 毫秒

    Cactus 发布开源语音识别模型 Whistle，单文件 16.9 MB、纯 CPU 运行无依赖，面向手机、可穿戴、机器人、智能家居、汽车与微控制器；支持英德法西意荷波 7 种语言（可自动检测），单次转写最长 30 秒 16 kHz 单声道音频，首 token 延迟 11 ms，输出词级时间戳，并与 Needle 共享同一 C++ 引擎与量化方案，可在浏览器端离线运行。

    推荐理由：把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响，是端侧语音这一细分方向上规格突出的开源发布。

  1. LiveKit Blog62

    LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法

    LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关，指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms，警告中的延迟表示 VAD 落后实时音频的程度，Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码，再检查 CPU 负载，可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞；不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。

    推荐理由：LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序，可对照日志中的延迟数值定位是 CPU 还是事件循环问题。

  1. Cartesia Blog68

    Cartesia 发布 Sonic-3.6：盲测最高 93% 偏好率，重回榜首

    Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好，发布距 3.5 仅两个月，并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。

    推荐理由：TTS 头部产品高频迭代且数据扎实，反映语音生成竞争白热化。

  1. LiveKit Blog62

    LiveKit 解析语音智能体短语音应答失败的原因与排查方法

    LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因，指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足，中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因，并给出对应做法，包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器，以及用自适应打断处理识别 backchannel。

    推荐理由：LiveKit 官方梳理短语音回合检测失败的常见成因，并给出可逐项排查的配置与恢复手段。

  1. 声网博客62

    声网拆解游戏语音卡顿排查：从玩家反馈到 RTC 指标的质量监控方法

    声网发布游戏语音质量监控方法，把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点，建议接通率以最后必要环节为准，持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序：听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由，再查网络；卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题，并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。

    推荐理由：声网结合自家 Unity RTC 回调，把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。

  2. 海外技术动态66

    Deepgram 发布 Flux TTS：面向实时语音 Agent 的“对话原生”文本转语音模型

    Deepgram 发布对话原生 TTS 模型 Flux TTS，主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身：跨轮保持语气、节奏与发音，无需 SSML 或风格标签，原生处理打断并回报“用户实际听到的内容”，每句话有 Idle/Generating/Completing 生命周期事件，且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成（官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内）、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%（约为 ElevenLabs 的一半、Cartesia 的三分之一），难例 3.4%，可云端、自托管或本地部署。

    推荐理由：TTS 从“朗读”转向“面向对话状态”的代表性产品发布，直接影响语音 Agent 的打断与跨轮一致性。

  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测：专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能：keyterm prompting 支持最多 100 个关键词（共 1200 字符）无额外延迟地提升品牌名、药名等实体转写，可配置 turn detection 则允许在端点检测的速度与准确率间调优，并给出 Earnings22 关键词召回数据。

    推荐理由：面向语音 Agent 实战的 STT 能力增强，关键词提示是行业普遍痛点。

  1. 声网博客62

    声网拆解 Voice Agent 延迟：STT、LLM、TTS 与 VAD 的可观测指标

    声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟，启用数字人时再加渲染延迟，并给出各段典型范围，如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段，并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本，上线后再用会话级 trace 定位瓶颈。

    推荐理由：把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段，并给出可采集的会话字段与仪表盘结构，适合直接对照搭建观测体系。

  1. 海外技术动态62

    字节 Seed 发布 Seed Audio 1.0：从语音合成走向影视级音频生成

    字节 Seed 团队发布 Seed Audio 1.0 音频生成模型，官方定位为业内首个可通过单条 Prompt 直接生成影视级音频的模型，支持文本、音频等多模态输入，覆盖音效等全要素音频创作。

    推荐理由：豆包语音产品线从 TTS 走向全要素音频生成的标志性版本。

  1. 声网博客60

    声网拆解出海语聊房 AI 降噪配置：中东噪音环境与东南亚弱网下的 AINS 档位选择

    声网针对出海语聊房给出 AI 降噪配置策略：中东中央空调等稳态噪声用传统降噪（WebRTC NS）已够用，市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下，丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影；骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流，通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度，低端设备任意网络下用传统 NS。

    推荐理由：声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置，并说明低端设备弱网下传统降噪更稳的边界。

  1. LiveKit Blog58

    LiveKit 拆解语音 Agent 降噪：在 Agent、客户端还是 SIP 中继上做，选哪种模型

    LiveKit 梳理降噪在音频链路中的三处落点——Agent 内（服务端处理入站音频，语音 AI 的推荐默认）、客户端 SDK（麦克风侧，支持 Krisp 与 WebRTC noiseSuppression）、SIP 中继（电话场景）——并区分两类增强模型：“背景噪声抑制”只去除非语音噪声、保留所有说话人，适合多说话人/说话人分离；“人声隔离”（BVC）进一步压制竞争人声、只留主说话人，适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上（模型按原始音频训练，二次处理会导致转写准确率下降，但标准 WebRTC 噪声抑制与回声消除可同时开启），并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。

    推荐理由：降噪是语音 Agent 转写与话轮检测质量的前置环节，给出了清晰的落点与模型选择规则。

  1. LiveKit Blog64

    LiveKit 实测：叠加摄像头与屏幕共享后音频质量是否劣化

    针对“开视频会拖累音频”的外部说法，作者在 LiveKit Cloud 上做三组 60 秒对照测试：纯音频时约 50kbps、0% 丢包、约 7ms 抖动、约 27ms RTT；加入 720p 摄像头（2.3Mbps）和屏幕共享（合计 3.9Mbps）后音频的码率、丢包、抖动、RTT 均无变化，视频侧则自动降码率；作者同时列明局限：单设备、单地点、理想网络、仅测音频带宽/丢包/抖动。

    推荐理由：用可复现的对照实验回应具体性能质疑并如实标注测试边界，是少见的音频质量实证。

  1. WebKit Blog63

    Safari 26.4 支持 WebTransport 与多麦克风采集

    WebKit 在 Safari 26.4 加入 WebTransport，面向低延迟场景（多人游戏、实时协作、视频会议）；macOS 上 getUserMedia 可同时采集多路麦克风并动态把已有采集迁移到合适处理单元、同时管理回声消除，便于做播客工具与多路录音；此外增强字幕外观自定义（字号、颜色、背景等）。

    推荐理由：WebTransport 落地与多麦克风采集是实时音视频在 Safari 上的能力补齐。

  1. 中文技术动态66

    火山引擎发布豆包语音识别模型 2.0：关键词召回率提升 20%，支持 13 种海外语种

    火山引擎 2025 年 12 月 5 日发布豆包语音识别模型 2.0（Doubao-Seed-ASR-2.0）：基于 PPO 强化学习做上下文推理识别，上下文关键词召回率提升 20%，支持单图/多图视觉输入辅助识别，并支持日语、韩语、德语、法语等 13 种海外语种。

    推荐理由：ASR 2.0 引入视觉多模态辅助语音识别，是"听得懂"到"看得懂"的代际更新。

已经到底了