Tavus 支持 40 余种语言的多语会话式 AI:自动检测语言并以其应答
文章介绍多语会话式 AI 能力:检测客户语言并用同一语言实时应答,覆盖 40 余种语言的企业部署场景。
文章介绍多语会话式 AI 能力:检测客户语言并用同一语言实时应答,覆盖 40 余种语言的企业部署场景。
speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。
以 RAG 检索 top_k 取舍为例讲解 precision/recall 权衡:top-3 高精确低召回、top-50 高召回低噪声风险,指出模型可以靠什么都不做拿到 90% 准确率,因此语音 AI 评估需要更诚实的指标。
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好,发布距 3.5 仅两个月,并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由:TTS 头部产品高频迭代且数据扎实,反映语音生成竞争白热化。
Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新,重点提升多语种声音能力与对话轮次判断,声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由:NVIDIA 语音 Agent 栈的版本演进动态,反映芯片厂商在语音 AI 栈上的发力方向。
Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。
推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。
Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。
推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。
Cactus 发布 Needle 2,一个 45M 参数的开源模型,用于工具调用、设备操作和结构化抽取,整个模型是单个 14MB 二进制文件,会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec,在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec,并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化,从预训练到后训练全程针对 Cactus Quants 训练,并支持在 Mac/PC 上微调。
speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。
推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。
SeedRealtime 以统一端到端架构原生融合音频、视频与文本,在连续多模态流上同步完成感知、理解与表达,支持结合画面消解同音歧义、时序指代理解,并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示,相比级联模型其音视频对话节奏问题减少一半,已在豆包 App 视频通话全量上线。
推荐理由:业界率先把音视频全双工技术规模化落地的模型发布,代表语音 Agent 从语音向全模态演进。
声网对曝光的微软 MAI Realtime 语音模型进行拆解,聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性,属实时语音模型竞品观察。
推荐理由:对头部厂商实时语音模型的技术观察,有助于判断全双工语音模型竞争格局。
该基准联合评估全双工口语对话系统的交互时机(轮次切换、附和、打断)与响应内容,覆盖英语与日语的闲聊及多轮问答场景,并基于同源语料实现跨语言对比;实验揭示不同全双工模型具有模型特有的交互模式,语言与领域间存在明显性能差异。
推荐理由:全双工语音模型评测方向的代表性新基准,补足多轮、多语言受控对比的空白。
声网开发者社区发布用 Go 与 Gin 搭建对话式语音智能体服务端的快速上手教程,覆盖服务端与声网 ConvoAI 能力的对接流程。
推荐理由:Go 生态语音 Agent 服务端教程在中文社区偏少,实用性强。
声网开发者社区分享一个开源 AI 赛事解说员项目,实现让 C 罗解说梅西比赛的效果并登上 OpenAI 社区榜单第二,文章给出实时语音 Agent 的工程实现思路。
推荐理由:世界杯期间的实时语音 Agent 实战案例,兼具趣味性与工程参考。
针对 OpenAI 未公布 GPT-Live 的端到端时延,Agora 自行搭建测试并公布实测数据,为语音 Agent 开发者选型实时语音模型提供延迟参考。
推荐理由:第三方对 GPT-Live 时延的受控实测,是实时语音模型选型的稀缺数据点。
Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。
推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。
livekit-agents 1.6.0(2026-06-11)起支持异步函数工具:工具是同步的直到它调用 await ctx.update(message),首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值,语音 Agent 因此可以先播报进度、后台继续执行,后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示(验证订单 6 秒 + 出款 8 秒,共约 14 秒静默导致用户挂断),并给出可取消工具(cancelable 标志会向 LLM 暴露取消工具)、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。
推荐理由:针对语音 Agent 工具调用冷场这一高频体验问题,给出可直接复制的框架级实现。
Cartesia 提出按真实用例而非实验室基准选择语音 AI 模型,指出演示中 600–800ms 的往返延迟在真实电话网络上会升至 2–4 秒、P95 达 5 秒。评估 ASR 应看完整转写时间 TTCT 而非首 token 延迟,端到端低于 200ms 对话才自然,超过 1 秒用户会重复发言;轮次检测的精确率与召回率决定打断和响应表现。
Cartesia 发布语音 AI 术语入门指南,梳理构建对话式语音 AI 所需的 20 个关键术语,涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出,打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验,其 Ink-2 STT 模型已将轮次检测内置,无需单独集成 VAD 模型。
火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。
推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。
LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。
推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。
文章拆解腾讯云音视频对话式 AI 服务的 TRTC+ASR+LLM/KB+TTS 端到端架构,覆盖客服、教育、出海同传与直播 AI Host 场景,提及中英及 20+ 小语种识别与 15 种语言实时互译等能力。
推荐理由:腾讯云对话式 AI 服务的架构与能力盘点,便于快速把握其产品边界。
LiveKit 梳理降噪在音频链路中的三处落点——Agent 内(服务端处理入站音频,语音 AI 的推荐默认)、客户端 SDK(麦克风侧,支持 Krisp 与 WebRTC noiseSuppression)、SIP 中继(电话场景)——并区分两类增强模型:“背景噪声抑制”只去除非语音噪声、保留所有说话人,适合多说话人/说话人分离;“人声隔离”(BVC)进一步压制竞争人声、只留主说话人,适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上(模型按原始音频训练,二次处理会导致转写准确率下降,但标准 WebRTC 噪声抑制与回声消除可同时开启),并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。
推荐理由:降噪是语音 Agent 转写与话轮检测质量的前置环节,给出了清晰的落点与模型选择规则。
Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。
推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。
文章梳理基于 TRTC 的实时对话式 AI 方案:打断默认 500ms(可调 300-5000ms)、STT/LLM/TTS 全链路流式处理、兼容 2 万种以上设备型号,并给出教育与硬件等场景的落地路径。
推荐理由:TRTC 在 AI 对话场景的方案级实践,含可查证的工程参数。
腾讯云宣布与开源 AI Agent 框架 Vision Agents(Stream 公司)战略合作,Tencent RTC 成为官方支持的边缘传输插件;Vision Agents 主打视频优先、端到端延迟低于 500ms、集成 25+ 插件,Tencent RTC 依托 3200+ 全球节点提供低于 300ms 的传输。
推荐理由:腾讯 RTC 通过开源 Agent 框架出海的关键合作,影响多模态 Agent 传输选型。
LiveKit 为外呼语音 Agent 增加答录机检测能力(AMD),自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为,支持自动问候、留言与按键导航。
推荐理由:外呼语音 Agent 落地的关键工程细节,直接影响电话场景接通质量。
OpenAI 在 API 中同时上线三款音频模型:GPT-Realtime-2(首个具备 GPT-5 级推理能力的语音模型,可在对话推进中调用工具)、GPT-Realtime-Translate(70+ 输入语言实时译为 13 种输出语言)与 GPT-Realtime-Whisper(流式语音转写)。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。
推荐理由:实时语音模型层的标杆性更新,直接定义语音 Agent 上限,行业影响大。
LiveKit Inference 正式支持声音克隆:克隆一次后可跨多个 TTS 供应商使用,并在生产环境中提供自动 fallback,为语音 Agent 定制音色。
推荐理由:语音 Agent 音色定制与供应商解耦的实用能力更新。
Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用,在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言,可实时自动检测语言并支持会话中切换与原生 code-switching;基于模型的轮次判定让 end-of-turn 决策低于 400ms,兼容既有 Flux API 并提供自托管与 EU 端点。
推荐理由:把 Flux 的对话式 ASR 能力扩展到多语言,免去多模型拼接与路由,是语音 Agent 感知层的实质性升级。
论文基于 ICASSP 2026 HumDial 挑战赛全双工赛道,发布涵盖打断、语音重叠与反馈机制的真实真人双声道对话数据集,并构建评测系统在维持对话流的同时处理打断能力的 HumDial-FDBench 基准,配套公开排行榜以比较开源与商用全双工模型。
推荐理由:为全双工语音系统提供真实录音数据集与可复现评测框架,是该方向的重要基础设施。
LiveKit 对照级联管线(STT-LLM-TTS)与实时端到端(S2S)模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异:实时模型在情绪与韵律感知、串行开销上有结构优势,但工具调用准确率与可定制性较弱;管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控,但需要靠流式重叠(部分转写进 LLM、token 边到边进 TTS)才能压到接近实时模型。文章另给出两种混合方案:realtime 模型配独立 STT,以及半级联(realtime 只出文本、由独立 TTS 出声)。并指出电话网络为 8kHz G.711 音频,而实时模型多按 16–48kHz WebRTC 音频训练,呼叫中心场景管线通常更可靠。
推荐理由:语音 Agent 架构选型的系统性对照,覆盖延迟、工具调用与合规等实际决策维度。
LiveKit 给出观察者模式(observer pattern)的完整实现:通过 AgentSession 的 conversation_item_added 事件旁路监听转录,用更强、可更慢的独立 LLM 异步做策略分类,再以 update_chat_ctx 把护栏指令作为系统消息注入主 Agent 上下文,主 Agent 在下一轮生效,全程不阻塞对话;必要时观察者可直接结束通话或接管控制。示例中主会话使用 gpt-4.1-mini、观察者使用 gpt-4.1,并以网约车乘客被司机要求线下现金支付的违规场景演示分类与响应分离。文章还列出三项工程细节:同一违规类型每会话最多注入一次、并发保护确保同时只跑一次评估且不丢用户轮次、以及 JSON 解析失败的兜底。
推荐理由:把安全策略与对话模型解耦的可复用工程模式,直接缓解复杂护栏挤占对话能力的问题。
Cloudflare 在 Agents SDK 中加入实验性语音管线,通过 WebSocket 实现实时语音交互,开发者可用连续 STT 与 TTS 快速为 Agent 增加语音能力。
推荐理由:Cloudflare 正式切入语音 Agent 赛道,边缘平台与语音栈结合的代表动作。
LiveKit 系统梳理语音 AI 方案中各环节的潜在时延来源,并说明应优先处理哪些部分,是官方给出的时延优化方法论。
推荐理由:语音 Agent 时延优化的官方框架性指南,工程参考价值高。
Seeduplex 基于"边听边说"框架,在豆包 App 全量上线,是全双工语音技术首次规模化落地。官方数据显示:复杂场景下误回复率与误打断率较半双工方案减少一半,AI 抢话比例相对下降 40%,判停延迟降低约 250ms、打断响应延迟缩短约 300ms,整体通话满意度绝对值提升 8.34%。
推荐理由:全双工对话的关键指标数据完整披露,是评估语音 Agent 自然度的行业参照。
LiveKit 介绍 subagent delegation(又称 talker-reasoner、快脑慢脑)模式:每个会话轮次由延迟优化的主 Agent(示例用 google/gemma-4-31b-it)处理,需要多步推理或慢工具的任务交给后台推理模型(示例用 google/gemini-3.1-pro),两者仅通过一个异步工具连接——主 Agent 调用后首次进度更新即释放对话,可继续应答或追问,子 Agent 结果在空闲时以追加回复返回,且会话历史不进入子 Agent 以保持轮次成本低。文章同时给出不适用情形:答案需先核实(价格、医疗建议)、单个快模型已够用、主 Agent 无事可做只能念填充话术、以及通话普遍短于 30 秒。
推荐理由:面向长耗时推理的语音 Agent 编排模式,给出了可落地的分工与适用边界。