什么是语音活动检测（VAD），它如何工作？
语音活动检测（VAD）以毫秒级音频帧为单位判断是否含有人声，并以 0 到 1 的置信度输出二值结果，供 ASR/STT、LLM 等下游系统决定是否处理音频。算法按采集、分帧、特征提取、打分、状态决策五阶段循环运行，分为传统信号处理、神经网络和语义 AI 三类。VAD 只判断帧内是否有人声，判断说话人是否说完需由端点检测（endpointing）完成。
#音频处理
ElevenLabs Blog评分2222
Hume AI Blog精选评分5858 Hume 拆解表情测量模型：面部与语音情绪信号如何变成可评测的结构化分数
Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。
推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。
Hume AI Blog精选评分6565 Hume AI 发布 Expression APIs：把语音与面部表情转为结构化感知分数
Hume AI 推出 Expression APIs，将声音与面部表情转化为结构化分数，估计他人对该表达的可能感知，语音侧还额外度量说话风格与嗓音特质；支持实时交互与离线录音分析标注两种模式。典型场景是让语音 Agent 识别客户语气中的挫败感——转写文字相同而情绪不同的情况。
推荐理由：把情绪信号做成可调用的结构化 API，补上语音 Agent 与情感计算管线里转写之外的关键一环。
Boson AI Blog精选评分5555 Boson Higgs VoiceOver 登陆 Premiere Pro：Higgs TTS 3 驱动的可导挥 AI 配音与词级字幕
继 DaVinci Resolve Studio 之后，Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro：每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线，可按行导演情绪、风格与语速，生成词级时间对齐字幕，并用约 10 秒自己的音频构建 100+ 语言的定制音色；使用自己的 Boson API key，按用量计费，Final Cut Pro 版本在开发中。
推荐理由：AI 配音进入主流专业剪辑软件时间线，把 TTS 能力落到视频生产工作流，实用面较广但属常规产品扩展。
Cactus Engineering Blog评分4848 Cactus Whistle 端侧语音识别实践：30 秒上限、80 毫秒词级时间戳与流式提交机制
Cactus 工程博客给出 Whistle（16.9 MB 端侧 STT 模型）的实用指南：输入为 16 kHz 单声道 float，单次调用最长 30 秒，超出需分片或走流式 API；word_timestamps=True 可输出词级起止与置信度，时间分辨率约 80 ms；流式模式下每个分块重转写缓冲音频，连续两轮一致的词才会提交，保证已出文本不被回改。
Cactus Engineering Blog精选评分6565 Cactus 开源 Whistle：16.9 MB 端侧语音识别模型，7 种语言、首 token 11 毫秒
Cactus 发布开源语音识别模型 Whistle，单文件 16.9 MB、纯 CPU 运行无依赖，面向手机、可穿戴、机器人、智能家居、汽车与微控制器；支持英德法西意荷波 7 种语言（可自动检测），单次转写最长 30 秒 16 kHz 单声道音频，首 token 延迟 11 ms，输出词级时间戳，并与 Needle 共享同一 C++ 引擎与量化方案，可在浏览器端离线运行。
推荐理由：把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响，是端侧语音这一细分方向上规格突出的开源发布。
声网博客评分4545 骁龙8至尊版Gen 6发布：端侧语音AI能干什么、不能干什么
高通在骁龙峰会发布骁龙8至尊版Gen 6与骁龙8旗舰版Gen 6，旗舰版可本地运行300亿参数MoE模型并完成语音识别到合成的全链路Agent，标准版感知中枢支持2亿参数模型做个人速记与说话人区分，两款均内置实时降噪“语音气泡”。但MoE省的是计算量而非内存，300亿参数仍需量化压缩才能塞进手机，且芯片只处理麦克风收到的这段声音，跨设备传输的丢包、抖动与路径调度仍由声网SD-RTN这类实时网承担。
Tavus Blog评分5252 面向 AI 智能体的语音克隆：Tavus 论自然度、实时时机与内置同意机制
文章分析智能体语音克隆的要求：自然音色、实时节奏与内建同意机制，并区分赢得信任与失去信任的部署差别。
FunASR Releases评分3838 FunASR 1.4.16 发布：修复混合设备推理配置漂移，新增原生 Transformers 指南
FunASR 1.4.16 发布，修复混合设备推理中 vad_kwargs、punc_kwargs、spk_kwargs 的设备放置问题：重复推理调用不再改变已加载模型的设备配置，说话人推理改用说话人模型自身配置。该版本同时说明 SenseVoiceSmall 或 Paraformer 何时需要 CT-Transformer 标点后处理，并新增经测试的中英文原生 Transformers 使用指南。混合设备回归测试使用 CPU 占位权重与模拟加速器，不构成 CUDA、MPS 或 NPU 性能认证。
Boson AI Blog评分4040 Higgs TTS 3 新增文本归一化与词级时间戳
Higgs TTS 3 API 新增文本归一化与词级时间戳：归一化默认开启，可将数字、日期、货币、URL、缩写等改写为口语形式，自动识别中英法德等 14 种语言，也可用 enable_tn: false 关闭。词级时间戳需设 timestamps: true，目前支持英语、中文和西班牙语，其他语言返回 null，且需将 stream 设为 false，与流式同用会返回 400 错误。
Cartesia Blog评分4545 Cartesia 撰文辨析：TTS 模型与音色是两个东西，混淆导致设计失误
Cartesia 产品博客将音色类比为 LLM 的 system prompt：模型提供通用能力，音色作为输入塑造输出；文中区分固定说话人模型与带音色输入的模型，指出混淆两者会导致语音 AI 设计决策失误。
FunASR Releases评分2828 FunASR 1.4.15 发布：兼容 NumPy 2，修复流式与训练可靠性
FunASR 1.4.15 发布，移除 NumPy 版本上限并兼容 NumPy 2，同时修复 KWS 跨包/EOS 边界丢帧、动态 VAD 静音调度计入空闲时间及检查点排序纳入无效验证指标等问题。该版本还新增 MOSS 的 Gradio 配置与离线 vLLM 整段转写示例，支持时间戳和匿名说话人标签。NumPy 兼容性仅在 Linux/Python 3.12、NumPy 1.26.4 与 2.4.0 环境下验证，不保证覆盖所有历史依赖与 GPU 组合。
LiveKit Blog精选评分6262 LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法
LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关，指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms，警告中的延迟表示 VAD 落后实时音频的程度，Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码，再检查 CPU 负载，可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞；不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。
推荐理由：LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序，可对照日志中的延迟数值定位是 CPU 还是事件循环问题。
声网博客评分2424 停车场云值守如何把摄像头画面实时搬进微信小程序：声网方案解析
声网针对停车场云值守场景，将微信小程序 live-pusher/live-player 组件封装为标准 RTC 接口，解决小程序不支持 WebRTC 协议栈、仅支持 H264 编码的接入难题。其 SD-RTN 网络配合 FEC 与 NACK，实测 80% 丢包下音频仍清晰、40% 丢包下视频基本连贯，并支持多路视频流并发接入与毫秒级首帧出图。
Cartesia Blog精选评分6868 Cartesia 发布 Sonic-3.6：盲测最高 93% 偏好率，重回榜首
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好，发布距 3.5 仅两个月，并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由：TTS 头部产品高频迭代且数据扎实，反映语音生成竞争白热化。
LiveKit Blog精选评分6262 LiveKit 解析语音智能体短语音应答失败的原因与排查方法
LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因，指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足，中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因，并给出对应做法，包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器，以及用自适应打断处理识别 backchannel。
推荐理由：LiveKit 官方梳理短语音回合检测失败的常见成因，并给出可逐项排查的配置与恢复手段。
声网博客精选评分6262 声网拆解游戏语音卡顿排查：从玩家反馈到 RTC 指标的质量监控方法
声网发布游戏语音质量监控方法，把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点，建议接通率以最后必要环节为准，持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序：听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由，再查网络；卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题，并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。
推荐理由：声网结合自家 Unity RTC 回调，把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。
Cartesia Blog精选评分5858 Ink-2 新增关键词提示与可配置轮次检测：专有名词转写更准
Cartesia 为流式 STT 模型 Ink-2 发布两项功能：keyterm prompting 支持最多 100 个关键词（共 1200 字符）无额外延迟地提升品牌名、药名等实体转写，可配置 turn detection 则允许在端点检测的速度与准确率间调优，并给出 Earnings22 关键词召回数据。
推荐理由：面向语音 Agent 实战的 STT 能力增强，关键词提示是行业普遍痛点。
声网博客评分2222 智能硬件语音交互架构解析：麦克风、RTC、ASR、LLM、TTS 全链路
智能硬件语音交互的体验瓶颈往往不在 LLM，而在麦克风采集、回声消除、RTC 实时传输、流式 ASR、TTS 播放与打断控制等基础环节。文章拆解了从采集、前处理、实时传输到 ASR、LLM、TTS、播放与打断的完整链路，指出 RTC 是弱网下保持语音连续的关键通道，并建议量产前按真实场景验证麦克风、弱网重连、儿童语音与云端成本。
Cartesia Blog评分3838 TTS 模型好不好？为什么语音合成评测随模型进步而失效，以及如何衡量真正重要的指标
Cartesia 发文分析 TTS 评测为何随模型进步而失效：语音合成是一对多映射，同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法，WER 在可懂度解决后趋于饱和，且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音，这些错误即使语音流畅也难以察觉。
声网博客精选评分6262 声网拆解 Voice Agent 延迟：STT、LLM、TTS 与 VAD 的可观测指标
声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟，启用数字人时再加渲染延迟，并给出各段典型范围，如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段，并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本，上线后再用会话级 trace 定位瓶颈。
推荐理由：把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段，并给出可采集的会话字段与仪表盘结构，适合直接对照搭建观测体系。
声网博客评分3434 2026年7月值得一试的5个免费语音AI开发工具
声网博客整理了5个可直接上手的免费语音AI工具，覆盖TTS、ASR与端到端语音对话链路。Bosonai Higgs TTS 3以4B参数提供零样本声音克隆和100+语言支持，API免费限速且兼容OpenAI格式；HuggingFace开源语音栈由Parakeet、Gemma 4 31B和Qwen3TTS组成，已在超9000台Reachy Mini机器人上部署。其余为浏览器转录工具SoundWise、支持单词级编辑的开源TTS ViiTorVoice，以及研究导向的扩散式ASR模型。
Cartesia Blog评分2222 语音 AI 术语入门指南：理解、评估和构建对话式语音 AI 的 20 个关键术语
Cartesia 发布语音 AI 术语入门指南，梳理构建对话式语音 AI 所需的 20 个关键术语，涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出，打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验，其 Ink-2 STT 模型已将轮次检测内置，无需单独集成 VAD 模型。
声网博客精选评分6060 声网拆解出海语聊房 AI 降噪配置：中东噪音环境与东南亚弱网下的 AINS 档位选择
声网针对出海语聊房给出 AI 降噪配置策略：中东中央空调等稳态噪声用传统降噪（WebRTC NS）已够用，市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下，丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影；骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流，通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度，低端设备任意网络下用传统 NS。
推荐理由：声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置，并说明低端设备弱网下传统降噪更稳的边界。
LiveKit Blog精选评分5858 LiveKit 拆解语音 Agent 降噪：在 Agent、客户端还是 SIP 中继上做，选哪种模型
LiveKit 梳理降噪在音频链路中的三处落点——Agent 内（服务端处理入站音频，语音 AI 的推荐默认）、客户端 SDK（麦克风侧，支持 Krisp 与 WebRTC noiseSuppression）、SIP 中继（电话场景）——并区分两类增强模型：“背景噪声抑制”只去除非语音噪声、保留所有说话人，适合多说话人/说话人分离；“人声隔离”（BVC）进一步压制竞争人声、只留主说话人，适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上（模型按原始音频训练，二次处理会导致转写准确率下降，但标准 WebRTC 噪声抑制与回声消除可同时开启），并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。
推荐理由：降噪是语音 Agent 转写与话轮检测质量的前置环节，给出了清晰的落点与模型选择规则。
声网博客评分2828 2026年5月开源语音合成模型TTS推荐与测评：Higgs Audio V2、CosyVoice 2等六款横评
2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型，按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首，Higgs Audio V2情感表达4.7最强，VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行，Fish Speech协议为CC BY-NC-SA不可商用。
LiveKit Blog精选评分6464 LiveKit 实测：叠加摄像头与屏幕共享后音频质量是否劣化
针对“开视频会拖累音频”的外部说法，作者在 LiveKit Cloud 上做三组 60 秒对照测试：纯音频时约 50kbps、0% 丢包、约 7ms 抖动、约 27ms RTT；加入 720p 摄像头（2.3Mbps）和屏幕共享（合计 3.9Mbps）后音频的码率、丢包、抖动、RTT 均无变化，视频侧则自动降码率；作者同时列明局限：单设备、单地点、理想网络、仅测音频带宽/丢包/抖动。
推荐理由：用可复现的对照实验回应具体性能质疑并如实标注测试边界，是少见的音频质量实证。
声网博客评分2727 双耳渲染技术详解：从单声道到3D音效的演进
双耳渲染通过HRTF模拟声音到双耳的传播过程，用普通耳机实现前后上下三维定位，区别于仅有左右维度的立体声和依赖多音箱的环绕声。其实现分双耳录音与双耳合成两类，后者灵活可实时调整声源，但受限于HRTF个性化、头部追踪缺失及多声源卷积的算力开销。
声网博客评分5454 声网讲解 MOS 评分体系与 E-model、POLQA 等客观评估算法
按 ITU-T P.800 给出 MOS 五级划分（4.0 以上适合商用、3.5 以下急需改进），介绍 PESQ、POLQA、VISQOL、VMAF 等客观算法与 E-model（G.107）估算公式；文中称其水晶球平台用改进 E-model 加机器学习预测 MOS、准确率 90% 以上，并引用“MOS 每降 0.5 分用户流失率上升 20%-30%”的结论。
LiveKit Blog精选评分6363 LiveKit 开源唤醒词训练工具：单命令训练自定义唤醒词，误报较 openWakeWord 低 100 倍
LiveKit 开源 livekit-wakeword，支持一条命令从零训练自定义唤醒词模型，官方称误报较 openWakeWord 低 100 倍，并提供 ONNX 与 Home Assistant 兼容。
推荐理由：端侧唤醒词开源工具的实用更新，对语音 Agent 前端链路有价值。
WebKit Blog精选评分6363 Safari 26.4 支持 WebTransport 与多麦克风采集
WebKit 在 Safari 26.4 加入 WebTransport，面向低延迟场景（多人游戏、实时协作、视频会议）；macOS 上 getUserMedia 可同时采集多路麦克风并动态把已有采集迁移到合适处理单元、同时管理回声消除，便于做播客工具与多路录音；此外增强字幕外观自定义（字号、颜色、背景等）。
推荐理由：WebTransport 落地与多麦克风采集是实时音视频在 Safari 上的能力补齐。
OpenMOSS MOSS-TTSD Releases评分4242 OpenMOSS MOSS-TTSD 发布 v0.7：v1.0 架构迁移前的存档版本
OpenMOSS 的对话式 TTS 项目 MOSS-TTSD 打上 v0.7 标签，release 说明仅注明这是 v1.0 迁移前的存档版本（Archive v0.7 before v1.0 migration），未列出具体功能变更或指标。
声网博客评分5454 声网解析丢包容错（PLC）：插入、插值与重构三类算法
按发送端丢包恢复与接收端 PLC 两条线展开：发送端靠 FEC 与低比特冗余，接收端 PLC 不占额外带宽、不增延迟，分插入、插值（波形替换、音高波形复制、时域校正，G.711 采纳音高复制）与基于重构的合成（如 G.723.1 插值线性预测系数）三类，并说明 PLC 常与 FEC、自适应码率配合使用。
声网博客评分2222 Oopz 降噪游戏语音背后的声网对话式 AI“黑科技”
声网与游戏语音平台 Oopz 合作，将基于判别式 AI 的降噪技术融入游戏开黑场景，可识别并抑制稳态与非稳态噪音，覆盖十四大场景上百种噪音，并在端侧完成运算。该方案在低信噪比下保持人声清晰，配合去混响无啸叫技术解决多设备连麦的回声与啸叫问题。
Cartesia Blog评分4040 Cartesia 发布 Voice Changer：保留原始语气与情感的音色转换模型
Cartesia 推出 Voice Changer，可将任意音频片段转换为目标音色，同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择，或克隆自己的声音，并精确控制情感与节奏；该模型基于 S4、Mamba 等状态空间模型架构，已在 Cartesia playground 上线。