跳到正文
  1. Inworld AI Blog72

    Inworld 收购 Ultravox:补齐语音理解与话轮管理,打通实时语音 Agent 全链路

    Inworld 宣布收购实时语音 Agent 平台 Ultravox,其团队加入并继续维护平台;双方此前已有 TTS 合作。Ultravox 带来语音理解、推理与任务执行以及话轮/打断管理能力,与 Inworld 的 Realtime TTS-2、Realtime STT-1 及实时推理基础设施整合,首个整合改进已上线。

    推荐理由:语音 Agent 赛道少见的端到端并购,理解侧与生成侧头部团队合并,行业格局信号明确。

  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。

  1. Boson AI Blog58

    Boson AI 发布 Higgs VoiceOver:在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音

    Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。

    推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。

  1. Hume AI Blog62

    Hume 发布语音可控性排行榜,评测 17 个 TTS 模型

    Hume 发布 Voice Controllability Leaderboard,从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型,采用数万条人工评分而非 LLM 评委,理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先:Google 与 ElevenLabs 总体领先但各有短板,开源模型在语音设计上仍有竞争力;性别平均准确率 97.87%,年龄仅 51.8%,讽刺是最难传达的语气。

    推荐理由:榜单用数万条人工评分对比 17 个语音模型的可控性,并指出 LLM 评委可能因数据泄漏抬高分数。

  1. Google AI Blog62

    Google 发布 Gemini 3.8 Live 与 3.5 转写模型

    Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe:3.8 Live 为原生语音到语音模型,支持异步函数调用(后台执行工具调用同时继续流式输出音频)、视觉上下文与 97+ 语言;3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一;3.5 Transcribe 覆盖 85+ 语言,官方给出平均 WER 4.0%(流式)与 2.6%(非流式)。

    推荐理由:实时语音链路上游模型的关键更新,直接影响语音 Agent 与实时转写方案的选型。

  1. Tavus Blog71

    Tavus 发布 Sparrow-2 对话理解模型,在 TurnBench 轮次切换两项任务上领先

    Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2,不再依赖降噪和静音计时器,而是保留并分类背景语音、噪声、反馈语和打断等信号,联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split(38 段对话、7.3 小时音频)上,它取得 92.4% 的轮次结束召回和 97.4% 的打断召回,是唯一同时领先两项任务的系统,中位决策延迟 632 ms,7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行,处理 80 ms 音频约需 7 ms,可容忍 6 至 8 秒的思考停顿,现已通过 Tavus API 和平台正式可用。

    推荐理由:Sparrow-2 把轮次切换从端点检测改为整体对话状态建模,并给出与十四套系统的基准对比,可据此判断语音智能体在嘈杂环境中的可用边界。

  1. Pipecat Releases52

    Pipecat 发布 v1.10.0:支持 openai 3 与 anthropic 1 SDK,Speechmatics 改用 Agent STT

    Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。

    推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。

  1. Hume AI Blog62

    Hume 发布语音复刻排行榜,评测 11 个 TTS 模型的克隆效果

    Hume 发布 Voice Replication Leaderboard,作为 Real World VoiceEQ Benchmark 的新组件,用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力,评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先:Cartesia sonic-3.6-beta 自然度最高(4.36)但同一说话人仅排第八(3.63),OpenBMB VoxCPM2 同一说话人第一(4.21)而自然度第五(3.96);音质分数集中在 3.85 至 4.61,同一说话人分数跨度更大,为 2.91 至 4.21。

    推荐理由:榜单把说话人相似度、自然度、音质和客观相似度分开评测,并给出按口音与情绪拆分的对比,可供选型时参考。

  1. Hugging Face Speech-to-Speech Releases62

    Hugging Face speech-to-speech 发布 v1.0.0:统一 Realtime 引擎与 serve/talk/local 三命令

    speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。

    推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。

  1. Inworld AI Blog70

    Inworld Realtime TTS-2 正式可用:听全上下文、自然语言导声、100+ 语言单一音色

    Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。

    推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。

  1. Cartesia Blog68

    Cartesia 发布 Sonic-3.6:盲测最高 93% 偏好率,重回榜首

    Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好,发布距 3.5 仅两个月,并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。

    推荐理由:TTS 头部产品高频迭代且数据扎实,反映语音生成竞争白热化。

  2. Daily.co Blog62

    Pipecat 发布 PhoneLLM Alpha 1 语音智能体开源模型与 PhoneBench v1 基准

    Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。

    推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。

  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测:专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。

    推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。

  1. Hugging Face Speech-to-Speech Releases58

    Hugging Face speech-to-speech v0.2.12:Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输

    speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。

    推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。

  1. 声网博客60

    声网拆解微软 MAI Realtime:全双工语音、17 种语言与低延迟打断

    声网对曝光的微软 MAI Realtime 语音模型进行拆解,聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性,属实时语音模型竞品观察。

    推荐理由:对头部厂商实时语音模型的技术观察,有助于判断全双工语音模型竞争格局。

  1. 声网博客55

    声网发布 Go + Gin 搭建语音智能体服务端教程

    声网开发者社区发布用 Go 与 Gin 搭建对话式语音智能体服务端的快速上手教程,覆盖服务端与声网 ConvoAI 能力的对接流程。

    推荐理由:Go 生态语音 Agent 服务端教程在中文社区偏少,实用性强。

  1. 声网博客55

    声网开源项目:用 AI 让 C 罗解说梅西比赛,冲上 OpenAI 社区榜二

    声网开发者社区分享一个开源 AI 赛事解说员项目,实现让 C 罗解说梅西比赛的效果并登上 OpenAI 社区榜单第二,文章给出实时语音 Agent 的工程实现思路。

    推荐理由:世界杯期间的实时语音 Agent 实战案例,兼具趣味性与工程参考。

  1. 声网博客64

    OpenAI 未公布 GPT-Live 时延,Agora 自行实测给出数据

    针对 OpenAI 未公布 GPT-Live 的端到端时延,Agora 自行搭建测试并公布实测数据,为语音 Agent 开发者选型实时语音模型提供延迟参考。

    推荐理由:第三方对 GPT-Live 时延的受控实测,是实时语音模型选型的稀缺数据点。