语音 AI 术语入门指南:理解、评估和构建对话式语音 AI 的 20 个关键术语
Cartesia 发布语音 AI 术语入门指南,梳理构建对话式语音 AI 所需的 20 个关键术语,涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出,打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验,其 Ink-2 STT 模型已将轮次检测内置,无需单独集成 VAD 模型。
Cartesia 发布语音 AI 术语入门指南,梳理构建对话式语音 AI 所需的 20 个关键术语,涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出,打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验,其 Ink-2 STT 模型已将轮次检测内置,无需单独集成 VAD 模型。
声网开源的实时多模态对话 AI 框架 TEN Framework 把 STT、LLM、TTS、VAD、Turn Detection 等环节抽象为可插拔 Extension,用 Graph 定义数据流并并发调度,换模型只需改配置。其 Turn Detection 基于 Qwen2.5-7B 做语义级打断判断,支持中英文,传输层支持 RTC、WebSocket、SIP。按 Demo 流程配置 Agora、Deepgram、ElevenLabs、OpenAI 的 Key 后,约 20 分钟可跑通。
论文在 Mininet 模拟拓扑中评估 MoQ SWITCH 式 ABR 对直播与时移播放的适配,验证标准 ABR 算法可直接用于时移播放并显著提高吞吐:订阅者重缓冲后可恢复更高吞吐,增加不到 4 秒的流延迟即可换来约 4 倍吞吐提升,开源了 MOQtail 扩展与测试框架。
推荐理由:直接回应 MoQ 工作组正在讨论的 ABR 切换语义,给 SWITCH 设计提供实证数据。
声网针对出海语聊房给出 AI 降噪配置策略:中东中央空调等稳态噪声用传统降噪(WebRTC NS)已够用,市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下,丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影;骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流,通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度,低端设备任意网络下用传统 NS。
推荐理由:声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置,并说明低端设备弱网下传统降噪更稳的边界。
出海语聊房选 RTC SDK 不能拿国内测试结果做参考,应优先确认目标市场有无本地节点、弱网丢包恢复表现如何。可用 tc netem 注入 5%、10%、15% 丢包自测卡顿与断流恢复,并核查厂商节点城市列表。声网 SD-RTN 覆盖全球 200+ 国家地区,采用私有 UDP 协议,Yalla、Kumu 等大房间场景为其生产案例。
按 12 人房间、30%-50% 丢包、<300ms 延迟的需求对比 Mesh/MCU/SFU:Mesh 每人 11 路上行呈 O(N²) 增长,MCU 混音引入 100-200ms 额外延迟,SFU 端到端可低于 150ms 且计算开销最低;弱网上用自适应 FEC(30% 丢包时冗余比提至 40%)、动态 Jitter Buffer(20-100ms)与 Opus 降码率到 6-10kbps,控制流走 WebSocket、媒体流走 UDP/RTP 彻底分离。
推荐理由:从拓扑选型到弱网参数的完整架构推演,控制/媒体双信道解耦对游戏类 RTC 很实用。
Ampere 向 FFmpeg 捐赠了一台 AmpereOne(Mt. Mitchell)2U 服务器,配备 192 个 Arm 核心、512 GB 内存、24 个 NVMe 盘位和 2×25G 网络。为表庆祝,Dascha(daschasara)响应 FFmpeg 征集非 AI 艺术作品的号召,为其绘制了一幅画作。
Netflix 发布 VMAF v1(模型随 libvmaf v3.2.0 于 2026-06-20 上线):在 DLM 基础上加入 AIM 分量以修正 v0 低码率下偏向切高分辨率、偏爱压缩伪影的系统性偏差;以基于归一化观看距离的特征调整取代 v0 手机模型的二阶多项式映射,避免手机端画质高估;整合 CAMBI 色带检测与色度特征,并将 NEG(抑制增强处理虚增分数)默认开启。v1 提供 1080p、phone、4K 近距/常规观看距离模型,HDR 版本在开发中。
推荐理由:VMAF 是行业事实上的编码评估标准,v1 对系统误差的修正会改变各家的码率梯设计与编码器对比结论。
火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。
推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。
LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。
推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。
把弱网定义为高丢包(10%-30%)、高延迟高抖动、低带宽三维度同时恶化;音频侧 FEC 在 20% 丢包下几乎无感、PLC 在 60%-80% 丢包仍可懂、可降至 Opus 6kbps 在 30kbps 网络上保语音不断;视频侧自适应码率加 SVC 平滑降级、关键帧优先保护、帧率优先于分辨率;并引即构数据:音频抗 80% 丢包、视频抗 70%、抖动容忍 1000ms、带宽可压至 30kbps。
推荐理由:按音频/视频/传输/业务四层给出弱网策略清单,附厂商实测基线数据。
把弱网分为带宽抖动、高丢包、高延迟、持续拥塞四类,对应三件武器——自适应编码动态调码率与量化参数、弹性帧率从 60/120fps 平滑降到 30fps、关键帧与参考帧选择性重传;核心是用智能码控统一决策“降码率 vs 降帧率 vs 加重传”,避免编码器与重传模块策略打架导致总带宽失控。
推荐理由:讲清了多机制并发时的策略冲突与统一指挥思路,对自建弱网策略编排有启发。
文章拆解腾讯云音视频对话式 AI 服务的 TRTC+ASR+LLM/KB+TTS 端到端架构,覆盖客服、教育、出海同传与直播 AI Host 场景,提及中英及 20+ 小语种识别与 15 种语言实时互译等能力。
推荐理由:腾讯云对话式 AI 服务的架构与能力盘点,便于快速把握其产品边界。
文章面向产品团队讲解 AI SDK 的能力谱系,从文本、语音延伸到具备全栈数字人的会话式视频集成。
LiveKit 梳理降噪在音频链路中的三处落点——Agent 内(服务端处理入站音频,语音 AI 的推荐默认)、客户端 SDK(麦克风侧,支持 Krisp 与 WebRTC noiseSuppression)、SIP 中继(电话场景)——并区分两类增强模型:“背景噪声抑制”只去除非语音噪声、保留所有说话人,适合多说话人/说话人分离;“人声隔离”(BVC)进一步压制竞争人声、只留主说话人,适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上(模型按原始音频训练,二次处理会导致转写准确率下降,但标准 WebRTC 噪声抑制与回声消除可同时开启),并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。
推荐理由:降噪是语音 Agent 转写与话轮检测质量的前置环节,给出了清晰的落点与模型选择规则。
用 Ookla 2025 数据定位战场:印尼移动均速 45.01Mbps(低于东南亚均值 91.79)、外岛 3G 常态,丢包超 10%、抖动超 100ms 时音频流明显劣化;给出四件套的适用边界——FEC 适合 10%-30% 丢包且 RTT>150ms(代价 10%-30% 带宽)、NACK 要求 RTT<150ms 且丢包<10%、Opus 从 32-64kbps 降级到 8-12kbps、动态 Jitter Buffer 工作范围 60-200ms,并强调本地节点对 RTT 的实质影响与 tc netem 测试方法。
推荐理由:少见的按目标市场网络实测数据反推弱网策略的实战文,参数边界清晰可落地。
LiveKit 基于自身实时基础设施发布面向机器人的遥操作、数据采集与远程推理生产级方案(LiveKit Portal),延续其在多参与者机器人场景的布局。
推荐理由:实时音视频进入物理 AI/机器人遥操作场景的代表性产品方案。
AOMedia 于 6 月 9 日宣布发布 AV2 规范(v1.0.0 于 5 月 28 日定稿),在免版税专利政策下开发;官方测试显示同画质下较 AV1 约 30% 的带宽节省(PSNR 约 28.6%、VMAF 约 32.6%),原生支持可分级码流、多流/多视图(立体视频、多机位、合成体验)场景;下一步包括 ISO BMFF 封装绑定规范、dav2d 解码器与面向专业应用的 12-bit Profile。
推荐理由:继 AV1 之后最重要的开源视频标准发布,定义未来数年流媒体编码技术路线。
Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。
推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。
W3C Media Working Group 于 2026-06-08 同日发布 AV1、AVC/H.264、HEVC/H.265、Linear PCM、Vorbis、A-law PCM 六份 WebCodecs 注册规范(随后 9 月又补齐 Opus 与 MP3),逐一定义各编解码器的 codec 字符串、EncodedVideoChunk/AudioDecoderConfig 描述字节及 VideoEncoderConfig 扩展;这使浏览器低层编解码 API 在视频侧主要格式的互操作语义全部落到正式工作组出版物。
推荐理由:WebCodecs 是浏览器端自研转码/推流管线的基础 API,AV1 与 HEVC 注册定稿让 Web 侧编码策略有了可依赖的规范锚点。
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。
LiveKit 官方推出 C++ SDK 1.0,为 C++ 应用提供实时音频、视频与数据通道能力,官方定位面向机器人、低延迟 AI 推理和高性能媒体管线场景。
推荐理由:补齐 LiveKit C++ 生态的关键产品更新,直接影响机器人与端侧实时音视频开发。
围绕 VideoLAN 为 AV2 开发的 dav2d 解码器项目引发的社区争议,Jean-Baptiste Kempf 阐明其定位与路线:dav2d 是 dav1d 之后的 AV2 软件解码器,先于硬件支持落地,为 AV2 生态早期提供 CPU 解码能力;文章回应了命名、归属与协作方式的质疑。
推荐理由:AV2 生态早期最具争议的社区事件,当事方第一人称回应,反映开源编解码器协作的现实张力。
文章梳理基于 TRTC 的实时对话式 AI 方案:打断默认 500ms(可调 300-5000ms)、STT/LLM/TTS 全链路流式处理、兼容 2 万种以上设备型号,并给出教育与硬件等场景的落地路径。
推荐理由:TRTC 在 AI 对话场景的方案级实践,含可查证的工程参数。
文章对比两条技术路径:语聊房走 RTC/UDP 通道(端到端 100–400ms,靠 FEC/ARQ 抗抖动),直播间走 RTMP 推流 + HLS/FLV 拉流(10–30 秒,低延迟 FLV 约 1–3 秒),并以 Yalla(纯 RTC、单房 2000 人)与荔枝(CDN 直播 + 偶尔连麦)说明选型差异,指出混合架构需维护两套延迟体系、排查成本高。
文章对比三条路线:纯 WebRTC 延迟 <200ms 但千人以上分发困难,纯 RTMP 3-5 秒延迟且不支持双向,RT-One 用统一架构让台上连麦走 RTC(<300ms)、台下观看走快直播(<1s),观众举手上麦时无感切换;给出的量化指标包括 2000+ 全球节点、抗丢包 >80%、单课堂 10 万人,并按 1v1 教学、万人公开课、小班课等场景给出选择依据。
mediasoup 3.20.0(Node 3.2.0、Rust 0.22.0)用参考 libwebrtc dcsctp 实现的内置 SCTP 栈替换 usrsctp,解决 Rust 多 worker 线程下 usrsctp 非线程安全的问题;SctpParameters 类型与传输层选项同步调整,官方给出 demo 迁移 PR 作为升级参考。
推荐理由:SFU 核心依赖层的重大重构,直接影响所有使用 DataChannel/SCTP 的 mediasoup 部署。
2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型,按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首,Higgs Audio V2情感表达4.7最强,VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行,Fish Speech协议为CC BY-NC-SA不可商用。
2026 年 5 月 26 日 MoQ 虚拟临时会议集中讨论 track 切换:客户端驱动的 SWITCH(PR #1378,订阅者在组边界发 SWITCH 消息)与 Will Law 提出的 relay 执行型 DTS(订阅多轨组成 switching set,由 relay 按吞吐量选轨),会上分析了与基线协议 SUBSCRIBE_UPDATE+FETCH 方案的差异并开放邮件列表共识征集。
推荐理由:MoQ ABR 语义是标准落地前最关键的未决问题,这份记录呈现了两条技术路线的取舍。
Tsahi Levent-Levi 分析 Video API 四种商业模式(按分钟、按 MAU、按 GB、自建):主流按分钟计费约 $0.004/视频分钟,一个成功的 POC 可能在 9 个月内从数千美元涨到 $80,000+/月;他建议先定商业模式再比厂商价格,并给出何时转向自建 SFU 的判断框架。
推荐理由:实时音视频规模化的成本模型少有人系统写清,这篇文章给出了可对标的数字。
针对“开视频会拖累音频”的外部说法,作者在 LiveKit Cloud 上做三组 60 秒对照测试:纯音频时约 50kbps、0% 丢包、约 7ms 抖动、约 27ms RTT;加入 720p 摄像头(2.3Mbps)和屏幕共享(合计 3.9Mbps)后音频的码率、丢包、抖动、RTT 均无变化,视频侧则自动降码率;作者同时列明局限:单设备、单地点、理想网络、仅测音频带宽/丢包/抖动。
推荐理由:用可复现的对照实验回应具体性能质疑并如实标注测试边界,是少见的音频质量实证。
声网 SD-RTN 通过在全球部署 250 多个数据中心,用持续链路探测与实时并行计算调度数据流路由,实现毫秒级超低延迟传输。调度不只看平均延迟,还关注特定时延内的包投递成功率,并综合节点负载、QoS 要求和业务类型选路。面对突发故障,系统以多路并发冗余在可靠性与带宽成本间取舍,并针对不同区域网络特性做适配优化。
Jan Ozer 的编码器对比研究引入盈亏平衡与上下文 ROI 分析:在 1080p60 体育等内容上,AV1 对 H.264 的 BD-rate 达 -59.83%、HEVC 为 -31.48%,但按真实观众分布加权后节省缩水——高端观众为主的分布约剩 51%,移动端为主的分布 AV1 对 H.264 仅 -23.16%(对应 VMAF +6.96 的画质提升);测得各编解码器的盈亏平衡观看时长(如移动分布下 VP9 为 3188 小时、AV1 为 4099 小时),并给出 25 万观看小时下的净节省金额。
推荐理由:把编解码对比从单一 BD-rate 数字推进到按观众分布的 ROI 建模,方法与数据对部署决策都有直接用处。
Google 公布内容透明度工具进展:SynthID 不可见水印已用于 AI 生成的图像、视频与音频,累计标注超过 1000 亿张图像/视频与 6 万年时长的音频;C2PA Content Credentials 从 Pixel 10 相机扩展到 Pixel 8/9/10 的视频拍摄。SynthID 验证已在 Gemini App 使用 5000 万次,并扩展到 Search 与 Chrome 的“Is this made with AI?”查询;OpenAI、Kakao、ElevenLabs 将引入 SynthID,Google Cloud 上线 AI Content Detection API。
推荐理由:AI 生成媒体的水印与溯源正在成为音视频平台的合规基础设施,该更新给出规模化数据。
SD-RTN 以全球 200 多个数据中心(文中另处称 250+)组成软件定义实时网,用基于 UDP 的多路复用传输协议与智能调度系统做动态路由;对外给出分档质量承诺:200ms 内包到达率 99.9%(RTC)、800ms(极速直播)、2s(一般直播),并说明 FEC、自适应码率等弱网对抗手段与传输层加密、抗 DDoS 机制。
推荐理由:厂商自述底层传输网的架构与可量化 SLA 指标,是理解 RTC 私有传输网络的直接材料。
腾讯云宣布与开源 AI Agent 框架 Vision Agents(Stream 公司)战略合作,Tencent RTC 成为官方支持的边缘传输插件;Vision Agents 主打视频优先、端到端延迟低于 500ms、集成 25+ 插件,Tencent RTC 依托 3200+ 全球节点提供低于 300ms 的传输。
推荐理由:腾讯 RTC 通过开源 Agent 框架出海的关键合作,影响多模态 Agent 传输选型。
文章以 1080p 剧集码率阶梯为算例给出编解码选型判断:AV2 较 AV1 约 -30%、H.266 较 H.265 约 -50%(双专利池)、H.267/ECM 预计 2029 年;指出最常见采购错误是把 BD-rate 当唯一指标——2030 年才有解码器的 40% 增益,不如 2026 年即可部署的 30% 增益,带宽节省需按部署时间窗口积分计算,并以 1000 万月活平台为例估算 AV1/AV2 迁移可省数百万美元/年 CDN 出口费。
推荐理由:把编解码之争从参数对比拉回工程与商业决策框架,观点具体、可复算。
为解决 HDR 与 SDR 内容同屏混排时高光裁切、画面发灰,以及环境光变化导致显示亮度漂移的问题,Google 联合 Apple、NBCUniversal 制定 SMPTE ST 2094-50:一是用 Reference White Anchor 把普通内容的最亮部分映射到固定基线、把额外亮度留给 HDR;二是 Headroom-Adaptive Gain Curves,把适配指令写进视频文件,屏幕余量不足时按创作者意图压缩暗部与中间调以保留高光细节。
推荐理由:跨厂商的新 HDR 元数据标准,直接决定 HDR 视频在不同亮度屏幕与光照环境下的呈现。
LiveKit 为外呼语音 Agent 增加答录机检测能力(AMD),自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为,支持自动问候、留言与按键导航。
推荐理由:外呼语音 Agent 落地的关键工程细节,直接影响电话场景接通质量。
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle,消费级设备上预填充 6000 tok/s、解码 1200 tok/s;核心观察是工具调用本质是检索与组装而非推理,因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由:端侧函数调用模型的代表性工作,结构取舍结论对端侧 AI 有普适启发。