跳到正文
9月8日周二
9月6日周日
  1. Hugging Face Speech-to-Speech Releases62

    Hugging Face speech-to-speech 发布 v1.0.0:统一 Realtime 引擎与 serve/talk/local 三命令

    speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。

    推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。

9月3日周四
8月31日周一
  1. Inworld AI Blog70

    Inworld Realtime TTS-2 正式可用:听全上下文、自然语言导声、100+ 语言单一音色

    Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。

    推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。

8月27日周四
  1. Daily.co Blog62

    Pipecat 发布 PhoneLLM Alpha 1 语音智能体开源模型与 PhoneBench v1 基准

    Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。

    推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。

8月19日周三
8月12日周三
  1. 海外技术动态66

    Deepgram 发布 Flux TTS:面向实时语音 Agent 的“对话原生”文本转语音模型

    Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。

    推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。

8月11日周二
  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测:专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。

    推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。

8月9日周日
  1. Cactus Engineering Blog36

    Needle 2:面向微型设备的 14 MB 智能体 LLM

    Cactus 发布 Needle 2,一个 45M 参数的开源模型,用于工具调用、设备操作和结构化抽取,整个模型是单个 14MB 二进制文件,会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec,在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec,并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化,从预训练到后训练全程针对 Cactus Quants 训练,并支持在 Mac/PC 上微调。

8月5日周三
  1. Hugging Face Speech-to-Speech Releases58

    Hugging Face speech-to-speech v0.2.12:Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输

    speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。

    推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。

  2. 海外技术动态80

    字节 SeedRealtime 音视频全双工大模型发布,豆包全量上线

    SeedRealtime 以统一端到端架构原生融合音频、视频与文本,在连续多模态流上同步完成感知、理解与表达,支持结合画面消解同音歧义、时序指代理解,并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示,相比级联模型其音视频对话节奏问题减少一半,已在豆包 App 视频通话全量上线。

    推荐理由:业界率先把音视频全双工技术规模化落地的模型发布,代表语音 Agent 从语音向全模态演进。

8月4日周二
7月31日周五
  1. 论文与标准68

    M3-DuplexBench:英日双语全双工对话评测基准

    该基准联合评估全双工口语对话系统的交互时机(轮次切换、附和、打断)与响应内容,覆盖英语与日语的闲聊及多轮问答场景,并基于同源语料实现跨语言对比;实验揭示不同全双工模型具有模型特有的交互模式,语言与领域间存在明显性能差异。

    推荐理由:全双工语音模型评测方向的代表性新基准,补足多轮、多语言受控对比的空白。

7月27日周一
7月17日周五
7月10日周五
7月9日周四
  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

7月7日周二
  1. LiveKit Blog66

    LiveKit Agents 异步工具:用 ctx.update() 消除慢后端调用期间的通话静默

    livekit-agents 1.6.0(2026-06-11)起支持异步函数工具:工具是同步的直到它调用 await ctx.update(message),首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值,语音 Agent 因此可以先播报进度、后台继续执行,后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示(验证订单 6 秒 + 出款 8 秒,共约 14 秒静默导致用户挂断),并给出可取消工具(cancelable 标志会向 LLM 暴露取消工具)、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。

    推荐理由:针对语音 Agent 工具调用冷场这一高频体验问题,给出可直接复制的框架级实现。

6月30日周二
  1. Cartesia Blog30

    如何为真实场景选择语音 AI 模型:ASR、TTS 与轮次检测评估指南

    Cartesia 提出按真实用例而非实验室基准选择语音 AI 模型,指出演示中 600–800ms 的往返延迟在真实电话网络上会升至 2–4 秒、P95 达 5 秒。评估 ASR 应看完整转写时间 TTCT 而非首 token 延迟,端到端低于 200ms 对话才自然,超过 1 秒用户会重复发言;轮次检测的精确率与召回率决定打断和响应表现。

  2. Cartesia Blog22

    语音 AI 术语入门指南:理解、评估和构建对话式语音 AI 的 20 个关键术语

    Cartesia 发布语音 AI 术语入门指南,梳理构建对话式语音 AI 所需的 20 个关键术语,涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出,打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验,其 Ink-2 STT 模型已将轮次检测内置,无需单独集成 VAD 模型。

6月18日周四
  1. 中文技术动态72

    火山引擎上线豆包实时语音模型 3.0(Seeduplex)API:全双工端到端语音大模型开启邀测

    火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。

    推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。

6月17日周三
  1. LiveKit Blog80

    LiveKit 发布 Turn Detector v1 话轮检测模型,300ms 延迟预算下误打断率 9.9%

    LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。

    推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。

6月15日周一
  1. 腾讯云音视频专区56

    腾讯云音视频对话式 AI 服务解析:TRTC+ASR+LLM+TTS 架构与场景

    文章拆解腾讯云音视频对话式 AI 服务的 TRTC+ASR+LLM/KB+TTS 端到端架构,覆盖客服、教育、出海同传与直播 AI Host 场景,提及中英及 20+ 小语种识别与 15 种语言实时互译等能力。

    推荐理由:腾讯云对话式 AI 服务的架构与能力盘点,便于快速把握其产品边界。

6月10日周三
  1. LiveKit Blog58

    LiveKit 拆解语音 Agent 降噪:在 Agent、客户端还是 SIP 中继上做,选哪种模型

    LiveKit 梳理降噪在音频链路中的三处落点——Agent 内(服务端处理入站音频,语音 AI 的推荐默认)、客户端 SDK(麦克风侧,支持 Krisp 与 WebRTC noiseSuppression)、SIP 中继(电话场景)——并区分两类增强模型:“背景噪声抑制”只去除非语音噪声、保留所有说话人,适合多说话人/说话人分离;“人声隔离”(BVC)进一步压制竞争人声、只留主说话人,适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上(模型按原始音频训练,二次处理会导致转写准确率下降,但标准 WebRTC 噪声抑制与回声消除可同时开启),并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。

    推荐理由:降噪是语音 Agent 转写与话轮检测质量的前置环节,给出了清晰的落点与模型选择规则。

6月9日周二
  1. Google AI Blog78

    Gemini 3.5 Live Translate:70+ 语言流式语音同传

    Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。

    推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。

6月4日周四
  1. Daily.co Blog74

    NVIDIA 发布开源多语言语音识别模型 Nemotron 3.5 ASR

    NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。

    推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。

5月30日周六
5月18日周一
  1. 海外技术动态63

    腾讯云与 Stream 合作:Tencent RTC 成为 Vision Agents 官方边缘传输插件

    腾讯云宣布与开源 AI Agent 框架 Vision Agents(Stream 公司)战略合作,Tencent RTC 成为官方支持的边缘传输插件;Vision Agents 主打视频优先、端到端延迟低于 500ms、集成 25+ 插件,Tencent RTC 依托 3200+ 全球节点提供低于 300ms 的传输。

    推荐理由:腾讯 RTC 通过开源 Agent 框架出海的关键合作,影响多模态 Agent 传输选型。

5月13日周三
5月7日周四
  1. 海外技术动态88

    OpenAI 上线 GPT-Realtime-2 等三款实时语音模型

    OpenAI 在 API 中同时上线三款音频模型:GPT-Realtime-2(首个具备 GPT-5 级推理能力的语音模型,可在对话推进中调用工具)、GPT-Realtime-Translate(70+ 输入语言实时译为 13 种输出语言)与 GPT-Realtime-Whisper(流式语音转写)。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。

    推荐理由:实时语音模型层的标杆性更新,直接定义语音 Agent 上限,行业影响大。

5月6日周三
4月29日周三
  1. 海外技术动态74

    Deepgram Flux Multilingual:10 语言对话识别 GA

    Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用,在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言,可实时自动检测语言并支持会话中切换与原生 code-switching;基于模型的轮次判定让 end-of-turn 决策低于 400ms,兼容既有 Flux API 并提供自托管与 EU 端点。

    推荐理由:把 Flux 的对话式 ASR 能力扩展到多语言,免去多模型拼接与路由,是语音 Agent 感知层的实质性升级。

4月23日周四
  1. 论文与标准62

    HumDial 全双工赛道:真人双声道数据集与 FDBench

    论文基于 ICASSP 2026 HumDial 挑战赛全双工赛道,发布涵盖打断、语音重叠与反馈机制的真实真人双声道对话数据集,并构建评测系统在维持对话流的同时处理打断能力的 HumDial-FDBench 基准,配套公开排行榜以比较开源与商用全双工模型。

    推荐理由:为全双工语音系统提供真实录音数据集与可复现评测框架,是该方向的重要基础设施。

4月17日周五
  1. LiveKit Blog70

    LiveKit 逐项对比语音 Agent 两种架构:STT-LLM-TTS 级联与端到端 Realtime

    LiveKit 对照级联管线(STT-LLM-TTS)与实时端到端(S2S)模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异:实时模型在情绪与韵律感知、串行开销上有结构优势,但工具调用准确率与可定制性较弱;管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控,但需要靠流式重叠(部分转写进 LLM、token 边到边进 TTS)才能压到接近实时模型。文章另给出两种混合方案:realtime 模型配独立 STT,以及半级联(realtime 只出文本、由独立 TTS 出声)。并指出电话网络为 8kHz G.711 音频,而实时模型多按 16–48kHz WebRTC 音频训练,呼叫中心场景管线通常更可靠。

    推荐理由:语音 Agent 架构选型的系统性对照,覆盖延迟、工具调用与合规等实际决策维度。

4月16日周四
  1. LiveKit Blog64

    LiveKit 用观察者模式做语音 Agent 护栏:后台模型读转录并向上下文注入处置

    LiveKit 给出观察者模式(observer pattern)的完整实现:通过 AgentSession 的 conversation_item_added 事件旁路监听转录,用更强、可更慢的独立 LLM 异步做策略分类,再以 update_chat_ctx 把护栏指令作为系统消息注入主 Agent 上下文,主 Agent 在下一轮生效,全程不阻塞对话;必要时观察者可直接结束通话或接管控制。示例中主会话使用 gpt-4.1-mini、观察者使用 gpt-4.1,并以网约车乘客被司机要求线下现金支付的违规场景演示分类与响应分离。文章还列出三项工程细节:同一违规类型每会话最多注入一次、并发保护确保同时只跑一次评估且不丢用户轮次、以及 JSON 解析失败的兜底。

    推荐理由:把安全策略与对话模型解耦的可复用工程模式,直接缓解复杂护栏挤占对话能力的问题。

4月15日周三
4月13日周一
4月9日周四
  1. 中文技术动态74

    字节 Seeduplex 全双工语音模型:判停延迟降 250ms

    Seeduplex 基于"边听边说"框架,在豆包 App 全量上线,是全双工语音技术首次规模化落地。官方数据显示:复杂场景下误回复率与误打断率较半双工方案减少一半,AI 抢话比例相对下降 40%,判停延迟降低约 250ms、打断响应延迟缩短约 300ms,整体通话满意度绝对值提升 8.34%。

    推荐理由:全双工对话的关键指标数据完整披露,是评估语音 Agent 自然度的行业参照。

4月1日周三
  1. LiveKit Blog62

    LiveKit 拆解 talker-reasoner 模式:快慢双模型加异步工具,让语音 Agent 不阻塞

    LiveKit 介绍 subagent delegation(又称 talker-reasoner、快脑慢脑)模式:每个会话轮次由延迟优化的主 Agent(示例用 google/gemma-4-31b-it)处理,需要多步推理或慢工具的任务交给后台推理模型(示例用 google/gemini-3.1-pro),两者仅通过一个异步工具连接——主 Agent 调用后首次进度更新即释放对话,可继续应答或追问,子 Agent 结果在空闲时以追加回复返回,且会话历史不进入子 Agent 以保持轮次成本低。文章同时给出不适用情形:答案需先核实(价格、医疗建议)、单个快模型已够用、主 Agent 无事可做只能念填充话术、以及通话普遍短于 30 秒。

    推荐理由:面向长耗时推理的语音 Agent 编排模式,给出了可落地的分工与适用边界。