NVIDIA Nemotron Voice Agent 更新 v2.1.0：重点增强多语种声音与轮次判断
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新，重点提升多语种声音能力与对话轮次判断，声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由：NVIDIA 语音 Agent 栈的版本演进动态，反映芯片厂商在语音 AI 栈上的发力方向。
技术方向
语音 Agent 最新动态
ASR、LLM、TTS 的实时编排：语音 Agent 框架与运行时、端到端语音模型、延迟与打断处理、语音对话的质量评估，以及各厂商的语音平台能力。
63 条精选近 30 天 13 条共收录 143 条
更新
精选归档 · 第 2 页
声网博客精选评分5858
海外技术动态精选评分6666 Deepgram 发布 Flux TTS：面向实时语音 Agent 的“对话原生”文本转语音模型
Deepgram 发布对话原生 TTS 模型 Flux TTS，主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身：跨轮保持语气、节奏与发音，无需 SSML 或风格标签，原生处理打断并回报“用户实际听到的内容”，每句话有 Idle/Generating/Completing 生命周期事件，且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成（官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内）、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%（约为 ElevenLabs 的一半、Cartesia 的三分之一），难例 3.4%，可云端、自托管或本地部署。
推荐理由：TTS 从“朗读”转向“面向对话状态”的代表性产品发布，直接影响语音 Agent 的打断与跨轮一致性。
Cartesia Blog精选评分5858 Ink-2 新增关键词提示与可配置轮次检测：专有名词转写更准
Cartesia 为流式 STT 模型 Ink-2 发布两项功能：keyterm prompting 支持最多 100 个关键词（共 1200 字符）无额外延迟地提升品牌名、药名等实体转写，可配置 turn detection 则允许在端点检测的速度与准确率间调优，并给出 Earnings22 关键词召回数据。
推荐理由：面向语音 Agent 实战的 STT 能力增强，关键词提示是行业普遍痛点。
Hugging Face Speech-to-Speech Releases精选评分5858 Hugging Face speech-to-speech v0.2.12：Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输
speech-to-speech 0.2.x 线的收官版本：Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿（可用 --no_smart_turn 回退 Silero）；为 OpenAI Realtime API 新增 WebRTC 传输，在 POST /v1/realtime/calls 做 SDP 协商，RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池；并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。
推荐理由：0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力，是 v1.0 之前的稳定基线。
海外技术动态精选评分8080 字节 SeedRealtime 音视频全双工大模型发布，豆包全量上线
SeedRealtime 以统一端到端架构原生融合音频、视频与文本，在连续多模态流上同步完成感知、理解与表达，支持结合画面消解同音歧义、时序指代理解，并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示，相比级联模型其音视频对话节奏问题减少一半，已在豆包 App 视频通话全量上线。
推荐理由：业界率先把音视频全双工技术规模化落地的模型发布，代表语音 Agent 从语音向全模态演进。
声网博客精选评分6060 声网拆解微软 MAI Realtime：全双工语音、17 种语言与低延迟打断
声网对曝光的微软 MAI Realtime 语音模型进行拆解，聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性，属实时语音模型竞品观察。
推荐理由：对头部厂商实时语音模型的技术观察，有助于判断全双工语音模型竞争格局。
论文与标准精选评分6868 M3-DuplexBench：英日双语全双工对话评测基准
该基准联合评估全双工口语对话系统的交互时机（轮次切换、附和、打断）与响应内容，覆盖英语与日语的闲聊及多轮问答场景，并基于同源语料实现跨语言对比；实验揭示不同全双工模型具有模型特有的交互模式，语言与领域间存在明显性能差异。
推荐理由：全双工语音模型评测方向的代表性新基准，补足多轮、多语言受控对比的空白。
声网博客精选评分5555 声网发布 Go + Gin 搭建语音智能体服务端教程
声网开发者社区发布用 Go 与 Gin 搭建对话式语音智能体服务端的快速上手教程，覆盖服务端与声网 ConvoAI 能力的对接流程。
推荐理由：Go 生态语音 Agent 服务端教程在中文社区偏少，实用性强。
声网博客精选评分5555 声网开源项目：用 AI 让 C 罗解说梅西比赛，冲上 OpenAI 社区榜二
声网开发者社区分享一个开源 AI 赛事解说员项目，实现让 C 罗解说梅西比赛的效果并登上 OpenAI 社区榜单第二，文章给出实时语音 Agent 的工程实现思路。
推荐理由：世界杯期间的实时语音 Agent 实战案例，兼具趣味性与工程参考。
声网博客精选评分6464 OpenAI 未公布 GPT-Live 时延，Agora 自行实测给出数据
针对 OpenAI 未公布 GPT-Live 的端到端时延，Agora 自行搭建测试并公布实测数据，为语音 Agent 开发者选型实时语音模型提供延迟参考。
推荐理由：第三方对 GPT-Live 时延的受控实测，是实时语音模型选型的稀缺数据点。
Cartesia Blog精选评分6262 Cartesia 发布面向实时语音代理的语音识别模型 Ink-2
Cartesia 发布语音转文本模型 Ink-2，面向实时语音代理，称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一，并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s，在 14 种英语口音的 AppTek 基准上 WER 为 8%，内部生产环境基准 WER 为 6.5%，轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线，可通过 API 使用，并接入 LiveKit、Vapi 和 Pipecat，多语言支持尚在开发中。
推荐理由：官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据，可据此判断语音代理的选型取舍。
LiveKit Blog精选评分6666 LiveKit Agents 异步工具：用 ctx.update() 消除慢后端调用期间的通话静默
livekit-agents 1.6.0（2026-06-11）起支持异步函数工具：工具是同步的直到它调用 await ctx.update(message)，首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值，语音 Agent 因此可以先播报进度、后台继续执行，后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示（验证订单 6 秒 + 出款 8 秒，共约 14 秒静默导致用户挂断），并给出可取消工具（cancelable 标志会向 LLM 暴露取消工具）、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。
推荐理由：针对语音 Agent 工具调用冷场这一高频体验问题，给出可直接复制的框架级实现。
中文技术动态精选评分7272 火山引擎上线豆包实时语音模型 3.0（Seeduplex）API：全双工端到端语音大模型开启邀测
火山引擎正式上线豆包实时语音模型 3.0（Seeduplex）API 并开启邀测：原生全双工端到端语音大模型，官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms，支持对话中直接调用工具，面向智能座舱、智能硬件与客服场景。
推荐理由：豆包实时语音 3.0 是国内全双工语音大模型的重要发布，量化指标明确。
LiveKit Blog精选评分8080 LiveKit 发布 Turn Detector v1 话轮检测模型，300ms 延迟预算下误打断率 9.9%
LiveKit 发布端到端话轮（end-of-turn）检测模型 v1 与 v1-mini，直接对用户音频推理而不依赖转录，把语义分支（音频编码器+适配器+微调 LLM）与声学分支（时序、韵律）融合为单次判定，因此不再需要等待最终转写、也不依赖历史轮次上下文；同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%（Deepgram Flux 12.9%），600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认，v1-mini 为同一架构的开放权重模型（代码 Apache-2.0），随 Agents SDK 分发（Python 1.6.1 / TypeScript 1.4.7）。
推荐理由：话轮检测是语音 Agent 自然度的核心难点，该版本给出公开基准、多语言实测与默认可用路径。
腾讯云音视频专区精选评分5656 腾讯云音视频对话式 AI 服务解析：TRTC+ASR+LLM+TTS 架构与场景
文章拆解腾讯云音视频对话式 AI 服务的 TRTC+ASR+LLM/KB+TTS 端到端架构，覆盖客服、教育、出海同传与直播 AI Host 场景，提及中英及 20+ 小语种识别与 15 种语言实时互译等能力。
推荐理由：腾讯云对话式 AI 服务的架构与能力盘点，便于快速把握其产品边界。
LiveKit Blog精选评分5858 LiveKit 拆解语音 Agent 降噪：在 Agent、客户端还是 SIP 中继上做，选哪种模型
LiveKit 梳理降噪在音频链路中的三处落点——Agent 内（服务端处理入站音频，语音 AI 的推荐默认）、客户端 SDK（麦克风侧，支持 Krisp 与 WebRTC noiseSuppression）、SIP 中继（电话场景）——并区分两类增强模型：“背景噪声抑制”只去除非语音噪声、保留所有说话人，适合多说话人/说话人分离；“人声隔离”（BVC）进一步压制竞争人声、只留主说话人，适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上（模型按原始音频训练，二次处理会导致转写准确率下降，但标准 WebRTC 噪声抑制与回声消除可同时开启），并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。
推荐理由：降噪是语音 Agent 转写与话轮检测质量的前置环节，给出了清晰的落点与模型选择规则。
Google AI Blog精选评分7878 Gemini 3.5 Live Translate：70+ 语言流式语音同传
Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音，与逐句等待的系统不同，它在保留上下文与即时翻译间权衡，全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览，Google Meet 会议翻译语言上限从 5 种提升到 70+，并同步落地 Google Translate App。
推荐理由：实时语音翻译从轮次制走向流式制，LiveKit、Agora、Pipecat 等平台同日宣布接入，生态影响广。
Daily.co Blog精选评分7474 NVIDIA 发布开源多语言语音识别模型 Nemotron 3.5 ASR
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR，同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点，完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可，仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节，在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写，作者估算企业自托管成本约 $0.05/小时，而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由：作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置，并附自托管成本与并发配置，便于评估语音代理选型。
腾讯云音视频专区精选评分5858 基于腾讯云 TRTC 的 AI 实时对话方案与实践：双讲打断与全链路流式处理
文章梳理基于 TRTC 的实时对话式 AI 方案：打断默认 500ms（可调 300-5000ms）、STT/LLM/TTS 全链路流式处理、兼容 2 万种以上设备型号，并给出教育与硬件等场景的落地路径。
推荐理由：TRTC 在 AI 对话场景的方案级实践，含可查证的工程参数。
海外技术动态精选评分6363 腾讯云与 Stream 合作：Tencent RTC 成为 Vision Agents 官方边缘传输插件
腾讯云宣布与开源 AI Agent 框架 Vision Agents（Stream 公司）战略合作，Tencent RTC 成为官方支持的边缘传输插件；Vision Agents 主打视频优先、端到端延迟低于 500ms、集成 25+ 插件，Tencent RTC 依托 3200+ 全球节点提供低于 300ms 的传输。
推荐理由：腾讯 RTC 通过开源 Agent 框架出海的关键合作，影响多模态 Agent 传输选型。