跳到正文
10月13日周二
10月12日周一
  1. Art of Smart60

    Google DeepMind 演示 Gemini 实时语音代理与实时翻译模型

    Google DeepMind 的 Thor Schaeff 介绍 Gemini API 的实时语音代理能力,包括低延迟、带音频标签的 TTS 模型,以及支持约 90 种语言、可自动检测说话语言并翻译成听者偏好语言的实时翻译模型。他还演示了面向实时对话代理的 Gemini 3.1 Flash Live,其底层 Live API 是低延迟 WebSocket 接口,支持流式文本、音频和视频,具备原生音频理解、打断处理、工具调用和音频转写能力,并提到与 LifeKit、PipeKit 的合作。开发者可通过 Google AI Studio 的 ai.studio/live 和 ai.dev/live 体验。

10月7日周三
10月6日周二
  1. 海外技术动态64

    Sesame 更新 CSM 语音模型,四位语音助手全量开放

    Sesame 面向所有用户开放 iOS/Android 语音助手 App,底层更新 Conversational Speech Model 以提升表现力与发音,尤其在长对话中差异明显;四位角色(Maya、Miles、Simone、Charlie)各带独立记忆与权限,新增自有计算机执行长任务、Google 应用与自定义 MCP 连接器,并降低谄媚与重复话术,为 2027 年眼镜硬件铺路。

    推荐理由:语音临场感路线的代表厂商从预览走向全量,展示了语音 Agent 与个人硬件结合的产品形态。

9月28日周一
  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。

9月25日周五
  1. Boson AI Blog58

    Boson AI 发布 Higgs VoiceOver:在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音

    Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。

    推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。

9月23日周三
  1. Cartesia Blog42

    Cartesia 推出 Multilingual Voices:50+ 音色库原生支持最多 25 种语言,并可将自建克隆音色变为多语言

    Cartesia 发布 Multilingual Voices,50+ 音色库音色原生支持最多 25 种语言,自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS,或在仪表盘中为克隆音色最多添加 9 种新口音和语言。

9月22日周二
  1. Tavus Blog34

    Tavus 为 PALs 推出长期记忆功能 Memories,围绕关系构建对话连续性

    Tavus 为 PALs 推出长期记忆功能 Memories,按每段 PAL 与用户的关系维护独立的记忆存储,包含描述用户偏好与目标的 Profile 和记录对话事件的 Timeline。该设计将实时对话所需的持续关系上下文与按需历史检索分离,避免每次响应前增加搜索步骤;记忆内容可查看、纠正和删除。

9月18日周五
  1. 中文技术动态66

    百炼上线 Qwen3.8-LiveTranslate 实时同传模型

    阿里云百炼上线 Qwen3.8-LiveTranslate-Flash-Realtime 实时音视频同传大模型,支持离线与实时两种翻译能力,能听懂 60 种语言、以 29 种语言语音输出;相较 qwen3.5-livetranslate-flash-realtime,端到端时延降至约 2.3 秒,新增实时说话人分离与默认开启的 ASR 转写,经 WebSocket Realtime API 调用。

    推荐理由:国内实时同传模型在语言覆盖与时延上的明确代际数据,是出海与跨语言 Agent 的直接供给。

9月17日周四
  1. Boson AI Blog40

    Higgs TTS 3 新增文本归一化与词级时间戳

    Higgs TTS 3 API 新增文本归一化与词级时间戳:归一化默认开启,可将数字、日期、货币、URL、缩写等改写为口语形式,自动识别中英法德等 14 种语言,也可用 enable_tn: false 关闭。词级时间戳需设 timestamps: true,目前支持英语、中文和西班牙语,其他语言返回 null,且需将 stream 设为 false,与流式同用会返回 400 错误。

9月15日周二
  1. Google AI Blog62

    Google 发布 Gemini 3.8 Live 与 3.5 转写模型

    Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe:3.8 Live 为原生语音到语音模型,支持异步函数调用(后台执行工具调用同时继续流式输出音频)、视觉上下文与 97+ 语言;3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一;3.5 Transcribe 覆盖 85+ 语言,官方给出平均 WER 4.0%(流式)与 2.6%(非流式)。

    推荐理由:实时语音链路上游模型的关键更新,直接影响语音 Agent 与实时转写方案的选型。

9月12日周六
  1. Pipecat Releases52

    Pipecat 发布 v1.10.0:支持 openai 3 与 anthropic 1 SDK,Speechmatics 改用 Agent STT

    Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。

    推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。

9月8日周二
9月6日周日
  1. Hugging Face Speech-to-Speech Releases62

    Hugging Face speech-to-speech 发布 v1.0.0:统一 Realtime 引擎与 serve/talk/local 三命令

    speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。

    推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。

8月31日周一
  1. Inworld AI Blog70

    Inworld Realtime TTS-2 正式可用:听全上下文、自然语言导声、100+ 语言单一音色

    Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。

    推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。

8月27日周四
  1. Daily.co Blog62

    Pipecat 发布 PhoneLLM Alpha 1 语音智能体开源模型与 PhoneBench v1 基准

    Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。

    推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。

8月19日周三
8月12日周三
  1. 海外技术动态66

    Deepgram 发布 Flux TTS:面向实时语音 Agent 的“对话原生”文本转语音模型

    Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。

    推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。

8月11日周二
  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测:专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。

    推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。

8月5日周三
  1. Hugging Face Speech-to-Speech Releases58

    Hugging Face speech-to-speech v0.2.12:Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输

    speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。

    推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。

  2. 海外技术动态80

    字节 SeedRealtime 音视频全双工大模型发布,豆包全量上线

    SeedRealtime 以统一端到端架构原生融合音频、视频与文本,在连续多模态流上同步完成感知、理解与表达,支持结合画面消解同音歧义、时序指代理解,并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示,相比级联模型其音视频对话节奏问题减少一半,已在豆包 App 视频通话全量上线。

    推荐理由:业界率先把音视频全双工技术规模化落地的模型发布,代表语音 Agent 从语音向全模态演进。

8月4日周二
7月9日周四
  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

6月18日周四
  1. 中文技术动态72

    火山引擎上线豆包实时语音模型 3.0(Seeduplex)API:全双工端到端语音大模型开启邀测

    火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。

    推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。

6月17日周三
  1. LiveKit Blog80

    LiveKit 发布 Turn Detector v1 话轮检测模型,300ms 延迟预算下误打断率 9.9%

    LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。

    推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。

6月9日周二
  1. Google AI Blog78

    Gemini 3.5 Live Translate:70+ 语言流式语音同传

    Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。

    推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。

5月13日周三
5月7日周四
  1. 海外技术动态88

    OpenAI 上线 GPT-Realtime-2 等三款实时语音模型

    OpenAI 在 API 中同时上线三款音频模型:GPT-Realtime-2(首个具备 GPT-5 级推理能力的语音模型,可在对话推进中调用工具)、GPT-Realtime-Translate(70+ 输入语言实时译为 13 种输出语言)与 GPT-Realtime-Whisper(流式语音转写)。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。

    推荐理由:实时语音模型层的标杆性更新,直接定义语音 Agent 上限,行业影响大。

5月6日周三
4月29日周三
  1. 海外技术动态74

    Deepgram Flux Multilingual:10 语言对话识别 GA

    Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用,在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言,可实时自动检测语言并支持会话中切换与原生 code-switching;基于模型的轮次判定让 end-of-turn 决策低于 400ms,兼容既有 Flux API 并提供自托管与 EU 端点。

    推荐理由:把 Flux 的对话式 ASR 能力扩展到多语言,免去多模型拼接与路由,是语音 Agent 感知层的实质性升级。

4月15日周三
4月9日周四
  1. 中文技术动态74

    字节 Seeduplex 全双工语音模型:判停延迟降 250ms

    Seeduplex 基于"边听边说"框架,在豆包 App 全量上线,是全双工语音技术首次规模化落地。官方数据显示:复杂场景下误回复率与误打断率较半双工方案减少一半,AI 抢话比例相对下降 40%,判停延迟降低约 250ms、打断响应延迟缩短约 300ms,整体通话满意度绝对值提升 8.34%。

    推荐理由:全双工对话的关键指标数据完整披露,是评估语音 Agent 自然度的行业参照。

3月26日周四
  1. Google AI Blog82

    Gemini 3.1 Flash Live 上线:延迟与指令遵循双提升

    Gemini 3.1 Flash Live 通过 Gemini Live API 在 Google AI Studio 开放预览,官方宣称较 2.5 Flash Native Audio 在延迟、可靠性与自然度上有台阶式提升:嘈杂环境下工具触发更稳、复杂系统指令遵循更强、可识别音高语速等声学细节,实时多模态对话支持 90+ 语言。

    推荐理由:Gemini 实时语音模型代际更新,是语音 Agent 平台侧最重要的供给变化之一。

3月10日周二
  1. 海外技术动态72

    Hume AI 开源 TADA:1:1 文本声学对齐的零幻觉 TTS

    TADA(Text-Acoustic Dual Alignment)为每个文本 token 对齐一条连续声学向量,每秒音频仅需 2–3 帧而非传统方案的 12.5–75 帧,RTF 达 0.09(快于同级 LLM-TTS 5 倍以上);在 LibriTTS-R 1000+ 样本上以 CER>0.15 为门槛测得零幻觉,2048 token 上下文可容纳约 700 秒音频(传统方案约 70 秒),轻量到可端侧部署,代码与预训练模型已开放。

    推荐理由:从架构层面消解 LLM-TTS 的跳词幻觉问题并显著提速,开源后可直接进入语音 Agent 技术栈。

3月9日周一
  1. Tavus Blog40

    Tavus 推出 Raven-1 多模态感知系统,融合音视频实时理解对话意图

    Tavus 发布 Raven-1 多模态感知系统,将音频、视觉与时间动态统一处理并实时对齐,通过语调、表情、迟疑和语境判断用户真实意图,而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题,主张情绪是连续且分层的,无法归入固定类别。

1月23日周五
  1. 海外技术动态62

    MiniMax Speech 2.8:声音标签与 10 秒音色复刻

    MiniMax 推出 Speech 2.8 系列(HD/Turbo 双档),可在文本中直接写入 (laughs)、(sighs) 等副语言标签并原位生成,支持约 10 秒参考音频快速复刻音色,重制音频管线以降低底噪与合成失真,覆盖 40+ 语言;已作为底层引擎服务多家语音 Agent 平台。

    推荐理由:中文语音合成头部供给的代际更新,副语言标签与低门槛复刻直接影响 Agent 音色表现。

8月19日周二
  1. Cartesia Blog55

    Cartesia 发布语音智能体开发平台 Line

    Cartesia 发布语音智能体开发平台 Line,面向开发者提供代码优先的构建方式,可从文本提示或模板在数分钟内创建首个智能体,并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话,保存音频与转写文本,报告延迟等系统指标并提供日志,支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署,企业版可完全本地部署并对模型微调。

    推荐理由:Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台,并说明与 Sonic、Ink 模型的协同方式。