LiveKit Agents 推出答录机检测（AMD）：外呼自动区分人声、语音信箱与 IVR
LiveKit 为外呼语音 Agent 增加答录机检测能力（AMD），自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为，支持自动问候、留言与按键导航。
推荐理由：外呼语音 Agent 落地的关键工程细节，直接影响电话场景接通质量。
技术方向
语音 Agent 最新动态
ASR、LLM、TTS 的实时编排：语音 Agent 框架与运行时、端到端语音模型、延迟与打断处理、语音对话的质量评估，以及各厂商的语音平台能力。
63 条精选近 30 天 13 条共收录 143 条
更新
精选归档 · 第 3 页
LiveKit Blog精选评分5858
海外技术动态精选评分8888 OpenAI 上线 GPT-Realtime-2 等三款实时语音模型
OpenAI 在 API 中同时上线三款音频模型：GPT-Realtime-2（首个具备 GPT-5 级推理能力的语音模型，可在对话推进中调用工具）、GPT-Realtime-Translate（70+ 输入语言实时译为 13 种输出语言）与 GPT-Realtime-Whisper（流式语音转写）。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。
推荐理由：实时语音模型层的标杆性更新，直接定义语音 Agent 上限，行业影响大。
LiveKit Blog精选评分6363 LiveKit Inference 上线声音克隆：一次克隆跨多家 TTS 供应商使用并自动降级
LiveKit Inference 正式支持声音克隆：克隆一次后可跨多个 TTS 供应商使用，并在生产环境中提供自动 fallback，为语音 Agent 定制音色。
推荐理由：语音 Agent 音色定制与供应商解耦的实用能力更新。
海外技术动态精选评分7474 Deepgram Flux Multilingual：10 语言对话识别 GA
Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用，在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言，可实时自动检测语言并支持会话中切换与原生 code-switching；基于模型的轮次判定让 end-of-turn 决策低于 400ms，兼容既有 Flux API 并提供自托管与 EU 端点。
推荐理由：把 Flux 的对话式 ASR 能力扩展到多语言，免去多模型拼接与路由，是语音 Agent 感知层的实质性升级。
论文与标准精选评分6262 HumDial 全双工赛道：真人双声道数据集与 FDBench
论文基于 ICASSP 2026 HumDial 挑战赛全双工赛道，发布涵盖打断、语音重叠与反馈机制的真实真人双声道对话数据集，并构建评测系统在维持对话流的同时处理打断能力的 HumDial-FDBench 基准，配套公开排行榜以比较开源与商用全双工模型。
推荐理由：为全双工语音系统提供真实录音数据集与可复现评测框架，是该方向的重要基础设施。
LiveKit Blog精选评分7070 LiveKit 逐项对比语音 Agent 两种架构：STT-LLM-TTS 级联与端到端 Realtime
LiveKit 对照级联管线（STT-LLM-TTS）与实时端到端（S2S）模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异：实时模型在情绪与韵律感知、串行开销上有结构优势，但工具调用准确率与可定制性较弱；管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控，但需要靠流式重叠（部分转写进 LLM、token 边到边进 TTS）才能压到接近实时模型。文章另给出两种混合方案：realtime 模型配独立 STT，以及半级联（realtime 只出文本、由独立 TTS 出声）。并指出电话网络为 8kHz G.711 音频，而实时模型多按 16–48kHz WebRTC 音频训练，呼叫中心场景管线通常更可靠。
推荐理由：语音 Agent 架构选型的系统性对照，覆盖延迟、工具调用与合规等实际决策维度。
LiveKit Blog精选评分6464 LiveKit 用观察者模式做语音 Agent 护栏：后台模型读转录并向上下文注入处置
LiveKit 给出观察者模式（observer pattern）的完整实现：通过 AgentSession 的 conversation_item_added 事件旁路监听转录，用更强、可更慢的独立 LLM 异步做策略分类，再以 update_chat_ctx 把护栏指令作为系统消息注入主 Agent 上下文，主 Agent 在下一轮生效，全程不阻塞对话；必要时观察者可直接结束通话或接管控制。示例中主会话使用 gpt-4.1-mini、观察者使用 gpt-4.1，并以网约车乘客被司机要求线下现金支付的违规场景演示分类与响应分离。文章还列出三项工程细节：同一违规类型每会话最多注入一次、并发保护确保同时只跑一次评估且不丢用户轮次、以及 JSON 解析失败的兜底。
推荐理由：把安全策略与对话模型解耦的可复用工程模式，直接缓解复杂护栏挤占对话能力的问题。
海外技术动态精选评分6262 Cloudflare 为 Agents SDK 加入实时语音管线：WebSocket 上的连续 STT 与 TTS
Cloudflare 在 Agents SDK 中加入实验性语音管线，通过 WebSocket 实现实时语音交互，开发者可用连续 STT 与 TTS 快速为 Agent 增加语音能力。
推荐理由：Cloudflare 正式切入语音 Agent 赛道，边缘平台与语音栈结合的代表动作。
LiveKit Blog精选评分5757 LiveKit 拆解语音 Agent 时延来源：该优先优化哪些环节
LiveKit 系统梳理语音 AI 方案中各环节的潜在时延来源，并说明应优先处理哪些部分，是官方给出的时延优化方法论。
推荐理由：语音 Agent 时延优化的官方框架性指南，工程参考价值高。
中文技术动态精选评分7474 字节 Seeduplex 全双工语音模型：判停延迟降 250ms
Seeduplex 基于"边听边说"框架，在豆包 App 全量上线，是全双工语音技术首次规模化落地。官方数据显示：复杂场景下误回复率与误打断率较半双工方案减少一半，AI 抢话比例相对下降 40%，判停延迟降低约 250ms、打断响应延迟缩短约 300ms，整体通话满意度绝对值提升 8.34%。
推荐理由：全双工对话的关键指标数据完整披露，是评估语音 Agent 自然度的行业参照。
LiveKit Blog精选评分6262 LiveKit 拆解 talker-reasoner 模式：快慢双模型加异步工具，让语音 Agent 不阻塞
LiveKit 介绍 subagent delegation（又称 talker-reasoner、快脑慢脑）模式：每个会话轮次由延迟优化的主 Agent（示例用 google/gemma-4-31b-it）处理，需要多步推理或慢工具的任务交给后台推理模型（示例用 google/gemini-3.1-pro），两者仅通过一个异步工具连接——主 Agent 调用后首次进度更新即释放对话，可继续应答或追问，子 Agent 结果在空闲时以追加回复返回，且会话历史不进入子 Agent 以保持轮次成本低。文章同时给出不适用情形：答案需先核实（价格、医疗建议）、单个快模型已够用、主 Agent 无事可做只能念填充话术、以及通话普遍短于 30 秒。
推荐理由：面向长耗时推理的语音 Agent 编排模式，给出了可落地的分工与适用边界。
Google AI Blog精选评分8282 Gemini 3.1 Flash Live 上线：延迟与指令遵循双提升
Gemini 3.1 Flash Live 通过 Gemini Live API 在 Google AI Studio 开放预览，官方宣称较 2.5 Flash Native Audio 在延迟、可靠性与自然度上有台阶式提升：嘈杂环境下工具触发更稳、复杂系统指令遵循更强、可识别音高语速等声学细节，实时多模态对话支持 90+ 语言。
推荐理由：Gemini 实时语音模型代际更新，是语音 Agent 平台侧最重要的供给变化之一。
海外技术动态精选评分7272 Hume AI 开源 TADA：1:1 文本声学对齐的零幻觉 TTS
TADA（Text-Acoustic Dual Alignment）为每个文本 token 对齐一条连续声学向量，每秒音频仅需 2–3 帧而非传统方案的 12.5–75 帧，RTF 达 0.09（快于同级 LLM-TTS 5 倍以上）；在 LibriTTS-R 1000+ 样本上以 CER>0.15 为门槛测得零幻觉，2048 token 上下文可容纳约 700 秒音频（传统方案约 70 秒），轻量到可端侧部署，代码与预训练模型已开放。
推荐理由：从架构层面消解 LLM-TTS 的跳词幻觉问题并显著提速，开源后可直接进入语音 Agent 技术栈。
Daily.co Blog精选评分7171 Pipecat 发布语音智能体 STT 基准：对比 10 家服务的延迟与语义准确率
Pipecat 团队发布面向实时语音智能体的 STT 基准，在 1000 条真实人类语音样本上测试 10 家 STT 服务，同时衡量转写延迟（TTFS）与语义准确率。中位延迟上 Deepgram Nova 3（247ms，1.62% WER）、Soniox（249ms，1.29% WER）、Speechmatics（495ms，1.07% WER）位于帕累托前沿。基准用 Claude 做语义 WER 评估，只统计会导致 LLM 理解不同的错误，并强调 P95 延迟与 finalization 支持比中位数更影响对话体验；代码已在 GitHub 开源，Pipecat 0.0.102 起可设置 ttfs_p99_latency 参数。
推荐理由：Pipecat 团队用 1000 条真实语音对比 10 家 STT 服务的延迟与语义准确率，并给出可自行复现的基准工具。
Daily.co Blog精选评分6060 Daily 发布语音智能体 LLM 基准 aiwf_medium_context，测试长多轮工具调用与延迟
Daily 发布语音智能体基准 aiwf_medium_context，测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用，源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%，但都太慢，无法满足语音智能体所需的 1500ms 以内语音到语音响应（约对应文本模型 700ms TTFT）；生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash，AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出，GPT Realtime 通过率为 86.7%，低于 GPT-4.1 的 94.9%。
推荐理由：Daily 公开语音智能体基准的源码与结果，可看到长多轮对话下模型能力与延迟之间的取舍。
海外技术动态精选评分6262 MiniMax Speech 2.8：声音标签与 10 秒音色复刻
MiniMax 推出 Speech 2.8 系列（HD/Turbo 双档），可在文本中直接写入 (laughs)、(sighs) 等副语言标签并原位生成，支持约 10 秒参考音频快速复刻音色，重制音频管线以降低底噪与合成失真，覆盖 40+ 语言；已作为底层引擎服务多家语音 Agent 平台。
推荐理由：中文语音合成头部供给的代际更新，副语言标签与低门槛复刻直接影响 Agent 音色表现。
LiveKit Blog精选评分7070 LiveKit 宣布 1 亿美元 C 轮融资，估值达 10 亿美元，Index Ventures 领投
LiveKit 于 1 月 22 日宣布由 Index Ventures 领投的 1 亿美元 C 轮融资，Salesforce Ventures、Hanabi Capital 及老股东 Altimeter、Redpoint 跟投，估值 10 亿美元；其 Agents 框架月下载超 100 万次，网络每年承载数十亿次语音 Agent 通话，并已与全球电话运营商直连 PSTN；资金将用于扩展面向语音 AI 的算力、存储与网络服务。
推荐理由：实时音视频基础设施公司在语音 Agent 浪潮中的标志性融资，印证 RTC 云服务的价值重估。
海外技术动态精选评分6262 语音 AI 公司 Deepgram 完成 1.3 亿美元 C 轮融资（估值 13 亿美元），并收购语音点餐初创 OfOne
Deepgram 于 1 月 13 日宣布由 AVP 领投的 1.3 亿美元 C 轮融资，估值 13 亿美元，Twilio、SAP、Citi Ventures 等战略投资人入局，累计融资超 2.15 亿美元；CEO 称公司上一年度已现金流为正；资金用于全球化与多语言支持，同时收购 YC 孵化的餐厅语音点餐公司 OfOne（订单准确率宣称超 93%）。
推荐理由：语音 AI 基础设施赛道的头部融资，反映实时语音处理在 2026 年的资本热度。
LiveKit Blog精选评分6666 xAI 携手 LiveKit 推出 Grok Voice Agent API，语音到语音模型对外开放
xAI 与 LiveKit 合作推出 Grok Voice Agent API，将驱动 Grok 的语音到语音模型开放给开发者，Grok 已通过第一方应用和特斯拉车辆服务全球数百万用户。
推荐理由：头部模型厂商与实时基础设施厂商深度绑定的标志性合作。
Cartesia Blog精选评分5555 Cartesia 发布语音智能体开发平台 Line
Cartesia 发布语音智能体开发平台 Line，面向开发者提供代码优先的构建方式，可从文本提示或模板在数分钟内创建首个智能体，并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话，保存音频与转写文本，报告延迟等系统指标并提供日志，支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署，企业版可完全本地部署并对模型微调。
推荐理由：Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台，并说明与 Sonic、Ink 模型的协同方式。