LiveKit Agents 发布 2.0.0b1 版本
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
Google DeepMind 的 Thor Schaeff 介绍 Gemini API 的实时语音代理能力,包括低延迟、带音频标签的 TTS 模型,以及支持约 90 种语言、可自动检测说话语言并翻译成听者偏好语言的实时翻译模型。他还演示了面向实时对话代理的 Gemini 3.1 Flash Live,其底层 Live API 是低延迟 WebSocket 接口,支持流式文本、音频和视频,具备原生音频理解、打断处理、工具调用和音频转写能力,并提到与 LifeKit、PipeKit 的合作。开发者可通过 Google AI Studio 的 ai.studio/live 和 ai.dev/live 体验。
whisper.cpp 发布 v1.9.5 维护版本,同步将 ggml 升级至 v0.26.0,nightly 构建号为 b5454。此次更新以 ggml 后端修复与优化为主,涵盖 CUDA、Vulkan、Metal、WebGPU、SYCL、Hexagon 等平台的 Flash Attention、量化与矩阵乘内核改进,并修复多处内存越界与溢出问题。
whisper.cpp 发布预发布版 b5454,将版本号提升至 1.9.5,对应提交 d1be6fd 已在 GitHub 上通过签名验证。该版本由 #4102 号改动完成版本号更新,目前以预发布形式提供。
Sesame 面向所有用户开放 iOS/Android 语音助手 App,底层更新 Conversational Speech Model 以提升表现力与发音,尤其在长对话中差异明显;四位角色(Maya、Miles、Simone、Charlie)各带独立记忆与权限,新增自有计算机执行长任务、Google 应用与自定义 MCP 连接器,并降低谄媚与重复话术,为 2027 年眼镜硬件铺路。
推荐理由:语音临场感路线的代表厂商从预览走向全量,展示了语音 Agent 与个人硬件结合的产品形态。
ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。
推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。
Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。
推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。
Cartesia 发布 Multilingual Voices,50+ 音色库音色原生支持最多 25 种语言,自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS,或在仪表盘中为克隆音色最多添加 9 种新口音和语言。
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
Tavus 为 PALs 推出长期记忆功能 Memories,按每段 PAL 与用户的关系维护独立的记忆存储,包含描述用户偏好与目标的 Profile 和记录对话事件的 Timeline。该设计将实时对话所需的持续关系上下文与按需历史检索分离,避免每次响应前增加搜索步骤;记忆内容可查看、纠正和删除。
阿里云百炼上线 Qwen3.8-LiveTranslate-Flash-Realtime 实时音视频同传大模型,支持离线与实时两种翻译能力,能听懂 60 种语言、以 29 种语言语音输出;相较 qwen3.5-livetranslate-flash-realtime,端到端时延降至约 2.3 秒,新增实时说话人分离与默认开启的 ASR 转写,经 WebSocket Realtime API 调用。
推荐理由:国内实时同传模型在语言覆盖与时延上的明确代际数据,是出海与跨语言 Agent 的直接供给。
Higgs TTS 3 API 新增文本归一化与词级时间戳:归一化默认开启,可将数字、日期、货币、URL、缩写等改写为口语形式,自动识别中英法德等 14 种语言,也可用 enable_tn: false 关闭。词级时间戳需设 timestamps: true,目前支持英语、中文和西班牙语,其他语言返回 null,且需将 stream 设为 false,与流式同用会返回 400 错误。
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe:3.8 Live 为原生语音到语音模型,支持异步函数调用(后台执行工具调用同时继续流式输出音频)、视觉上下文与 97+ 语言;3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一;3.5 Transcribe 覆盖 85+ 语言,官方给出平均 WER 4.0%(流式)与 2.6%(非流式)。
推荐理由:实时语音链路上游模型的关键更新,直接影响语音 Agent 与实时转写方案的选型。
Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。
推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。
文章介绍多语会话式 AI 能力:检测客户语言并用同一语言实时应答,覆盖 40 余种语言的企业部署场景。
speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好,发布距 3.5 仅两个月,并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由:TTS 头部产品高频迭代且数据扎实,反映语音生成竞争白热化。
Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新,重点提升多语种声音能力与对话轮次判断,声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由:NVIDIA 语音 Agent 栈的版本演进动态,反映芯片厂商在语音 AI 栈上的发力方向。
Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。
推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。
Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。
推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。
speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。
推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。
SeedRealtime 以统一端到端架构原生融合音频、视频与文本,在连续多模态流上同步完成感知、理解与表达,支持结合画面消解同音歧义、时序指代理解,并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示,相比级联模型其音视频对话节奏问题减少一半,已在豆包 App 视频通话全量上线。
推荐理由:业界率先把音视频全双工技术规模化落地的模型发布,代表语音 Agent 从语音向全模态演进。
声网对曝光的微软 MAI Realtime 语音模型进行拆解,聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性,属实时语音模型竞品观察。
推荐理由:对头部厂商实时语音模型的技术观察,有助于判断全双工语音模型竞争格局。
Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。
推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。
火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。
推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。
LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。
推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。
Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。
推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。
LiveKit 为外呼语音 Agent 增加答录机检测能力(AMD),自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为,支持自动问候、留言与按键导航。
推荐理由:外呼语音 Agent 落地的关键工程细节,直接影响电话场景接通质量。
OpenAI 在 API 中同时上线三款音频模型:GPT-Realtime-2(首个具备 GPT-5 级推理能力的语音模型,可在对话推进中调用工具)、GPT-Realtime-Translate(70+ 输入语言实时译为 13 种输出语言)与 GPT-Realtime-Whisper(流式语音转写)。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。
推荐理由:实时语音模型层的标杆性更新,直接定义语音 Agent 上限,行业影响大。
LiveKit Inference 正式支持声音克隆:克隆一次后可跨多个 TTS 供应商使用,并在生产环境中提供自动 fallback,为语音 Agent 定制音色。
推荐理由:语音 Agent 音色定制与供应商解耦的实用能力更新。
Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用,在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言,可实时自动检测语言并支持会话中切换与原生 code-switching;基于模型的轮次判定让 end-of-turn 决策低于 400ms,兼容既有 Flux API 并提供自托管与 EU 端点。
推荐理由:把 Flux 的对话式 ASR 能力扩展到多语言,免去多模型拼接与路由,是语音 Agent 感知层的实质性升级。
Cloudflare 在 Agents SDK 中加入实验性语音管线,通过 WebSocket 实现实时语音交互,开发者可用连续 STT 与 TTS 快速为 Agent 增加语音能力。
推荐理由:Cloudflare 正式切入语音 Agent 赛道,边缘平台与语音栈结合的代表动作。
Seeduplex 基于"边听边说"框架,在豆包 App 全量上线,是全双工语音技术首次规模化落地。官方数据显示:复杂场景下误回复率与误打断率较半双工方案减少一半,AI 抢话比例相对下降 40%,判停延迟降低约 250ms、打断响应延迟缩短约 300ms,整体通话满意度绝对值提升 8.34%。
推荐理由:全双工对话的关键指标数据完整披露,是评估语音 Agent 自然度的行业参照。
Gemini 3.1 Flash Live 通过 Gemini Live API 在 Google AI Studio 开放预览,官方宣称较 2.5 Flash Native Audio 在延迟、可靠性与自然度上有台阶式提升:嘈杂环境下工具触发更稳、复杂系统指令遵循更强、可识别音高语速等声学细节,实时多模态对话支持 90+ 语言。
推荐理由:Gemini 实时语音模型代际更新,是语音 Agent 平台侧最重要的供给变化之一。
TADA(Text-Acoustic Dual Alignment)为每个文本 token 对齐一条连续声学向量,每秒音频仅需 2–3 帧而非传统方案的 12.5–75 帧,RTF 达 0.09(快于同级 LLM-TTS 5 倍以上);在 LibriTTS-R 1000+ 样本上以 CER>0.15 为门槛测得零幻觉,2048 token 上下文可容纳约 700 秒音频(传统方案约 70 秒),轻量到可端侧部署,代码与预训练模型已开放。
推荐理由:从架构层面消解 LLM-TTS 的跳词幻觉问题并显著提速,开源后可直接进入语音 Agent 技术栈。
Tavus 发布 Raven-1 多模态感知系统,将音频、视觉与时间动态统一处理并实时对齐,通过语调、表情、迟疑和语境判断用户真实意图,而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题,主张情绪是连续且分层的,无法归入固定类别。
MiniMax 推出 Speech 2.8 系列(HD/Turbo 双档),可在文本中直接写入 (laughs)、(sighs) 等副语言标签并原位生成,支持约 10 秒参考音频快速复刻音色,重制音频管线以降低底噪与合成失真,覆盖 40+ 语言;已作为底层引擎服务多家语音 Agent 平台。
推荐理由:中文语音合成头部供给的代际更新,副语言标签与低门槛复刻直接影响 Agent 音色表现。
Cartesia 发布语音智能体开发平台 Line,面向开发者提供代码优先的构建方式,可从文本提示或模板在数分钟内创建首个智能体,并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话,保存音频与转写文本,报告延迟等系统指标并提供日志,支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署,企业版可完全本地部署并对模型微调。
推荐理由:Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台,并说明与 Sonic、Ink 模型的协同方式。