跳到正文
#语音 Agent
  1. 东方财富34

    模思智能完成超10亿元Pre-A轮融资，将发布MOSS Live实时交互模型

    模思智能完成超10亿元Pre-A轮融资，由华控基金领投，国开科创、上海科创基金等参投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司由上海创智学院与复旦大学联合孵化，2026年上半年已围绕语音、视觉和实时多模态连续发布20多个模型并持续开源，即将发布的MOSS Live由前端交互模型与后端能动性模型协同工作。

  1. 海外技术动态64

    Sesame 更新 CSM 语音模型，四位语音助手全量开放

    Sesame 面向所有用户开放 iOS/Android 语音助手 App，底层更新 Conversational Speech Model 以提升表现力与发音，尤其在长对话中差异明显；四位角色（Maya、Miles、Simone、Charlie）各带独立记忆与权限，新增自有计算机执行长任务、Google 应用与自定义 MCP 连接器，并降低谄媚与重复话术，为 2027 年眼镜硬件铺路。

    推荐理由：语音临场感路线的代表厂商从预览走向全量，展示了语音 Agent 与个人硬件结合的产品形态。

  1. Inworld AI Blog72

    Inworld 收购 Ultravox：补齐语音理解与话轮管理，打通实时语音 Agent 全链路

    Inworld 宣布收购实时语音 Agent 平台 Ultravox，其团队加入并继续维护平台；双方此前已有 TTS 合作。Ultravox 带来语音理解、推理与任务执行以及话轮/打断管理能力，与 Inworld 的 Realtime TTS-2、Realtime STT-1 及实时推理基础设施整合，首个整合改进已上线。

    推荐理由：语音 Agent 赛道少见的端到端并购，理解侧与生成侧头部团队合并，行业格局信号明确。

  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo，称 Eleven v4 在 Artificial Analysis 排名第一，并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景，中位推理延迟约 100ms，中位首次发声时间约 150ms，与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言，Instant Voice Clones 用 10 秒音频即可克隆，并新增 Professional Voice Clones 支持，现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由：官方给出两款新模型的延迟、盲测偏好与克隆门槛，可据此判断语音代理和配音场景是否值得迁移。

  1. 论文与标准70

    实时语音 Agent 评估综述：从组件级质量指标走向任务落地结果

    综述系统梳理实时语音 Agent 的评测谱系：从 ASR/TTS 组件指标，到 VoiceBench、Full-Duplex-Bench v1.5/v2 等会话行为基准（覆盖重叠、打断、多轮与多说话人），再到以状态校验和任务完成为准的 agentic 评测，指出评估重心正从"系统说了什么"转向"在真实对话约束下做了什么"。

    推荐理由：语音 Agent 评估方向的系统性综述，为搭建评测体系提供完整地图。

  2. 论文与标准66

    Duplex-MPE：2000 场景评测全双工模型多人交互

    该基准构造 2000 个由 3–4 名真人说话者加一个助手组成的场景，以连续音频流（无转写、无轮次边界）评测助手的应答发起、答案准确、保持沉默与适时停说四项能力，并覆盖显式/隐式指涉配对；对 MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omni 五个开源系统的评测显示 MiniCPM-o 4.5 在三项能力上领先。

    推荐理由：把全双工评测从双人对话推进到多方交互，直指语音 Agent 在群聊场景的核心缺陷。

  3. Boson AI Blog58

    Boson AI 发布 Higgs VoiceOver：在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音

    Boson AI 发布 Higgs VoiceOver 插件，把 AI 配音放进视频剪辑器，由 Higgs TTS 3 驱动，每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效，自动生成词级时间轴字幕，用约十秒音频克隆自定义声音，覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线，Final Cut Pro 与 Windows 版本在开发中，使用自带 Boson API key 按量计费，价格为每千字符 0.015 美元。

    推荐理由：面向剪辑工作流的 AI 配音插件，说明它如何把配音、字幕和声音克隆放进时间线，以及按量计费的成本口径。

  1. 中文技术动态66

    百炼上线 Qwen3.8-LiveTranslate 实时同传模型

    阿里云百炼上线 Qwen3.8-LiveTranslate-Flash-Realtime 实时音视频同传大模型，支持离线与实时两种翻译能力，能听懂 60 种语言、以 29 种语言语音输出；相较 qwen3.5-livetranslate-flash-realtime，端到端时延降至约 2.3 秒，新增实时说话人分离与默认开启的 ASR 转写，经 WebSocket Realtime API 调用。

    推荐理由：国内实时同传模型在语言覆盖与时延上的明确代际数据，是出海与跨语言 Agent 的直接供给。

  2. 论文与标准66

    NemotronLabs VoiceChat：带原生工具调用的开源全双工语音到语音模型

    论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat，把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中，使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分；FDB 1.5 上回信道（backchannel）后 93% 恢复回复；VoiceBench 归一化均分 55.1，FDB 3.0 工具选择 F1 为 82.5%，但参数准确率与端到端工具执行仍是待改进项。

    推荐理由：把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作，给出完整基准数据。

  1. Hume AI Blog62

    Hume 发布语音可控性排行榜，评测 17 个 TTS 模型

    Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。

    推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。

  2. 论文与标准57

    Voice-Light：带因果话轮与投机生成的全双工级联语音 Agent

    论文提出全双工级联语音 Agent Voice-Light，组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成，使结构化工具调用可与桥接语音并发执行，且被取消的音频不会进入对话历史（浏览器端回执让已播放音频成为权威记录）。在 1673 条真实对话静音候选上的锁定评测显示：学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%，而 Silero 时序策略召回 95.60%，因此线上保留混合控制器而非替换为学习策略；三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms（21 轮低于 800ms），作者声明这属于插桩案例研究而非受控用户评测。

    推荐理由：少见的公开负面结果与可复现工程细节，说明级联全双工中学习式话轮判断的真实局限。

  1. Google AI Blog62

    Google 发布 Gemini 3.8 Live 与 3.5 转写模型

    Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe：3.8 Live 为原生语音到语音模型，支持异步函数调用（后台执行工具调用同时继续流式输出音频）、视觉上下文与 97+ 语言；3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一；3.5 Transcribe 覆盖 85+ 语言，官方给出平均 WER 4.0%（流式）与 2.6%（非流式）。

    推荐理由：实时语音链路上游模型的关键更新，直接影响语音 Agent 与实时转写方案的选型。

  1. Tavus Blog71

    Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先

    Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。

    推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。

  1. Pipecat Releases52

    Pipecat 发布 v1.10.0：支持 openai 3 与 anthropic 1 SDK，Speechmatics 改用 Agent STT

    Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。

    推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。

  1. Hume AI Blog62

    Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果

    Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。

    推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。

  1. Hugging Face Speech-to-Speech Releases62

    Hugging Face speech-to-speech 发布 v1.0.0：统一 Realtime 引擎与 serve/talk/local 三命令

    speech-to-speech 项目发布首个大版本 v1.0.0，整合为 serve、talk、local 三个命令，新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写，并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK，覆盖 WebSocket 与 WebRTC 两种传输的集成测试，Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。

    推荐理由：开源全栈语音对话管线的 1.0 里程碑，命令行与后端生态明显收敛，适合做语音 Agent 自建参考。

  1. Meta AI Research Blog74

    Meta 发布 Muse Voice Transcribe 实时语音感知模型

    Meta Superintelligence Labs 发布 Muse Voice Transcribe，一个实时音频感知模型，支持流式 ASR、20 人以上说话人分离和端点检测，原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块（12.5 Hz）自回归处理，通过强化学习实现自适应延迟，在速度与准确率之间取得权衡；训练覆盖 70 多种语言，其中 25 种经过充分验证，并支持超过一小时的长音频输入。

    推荐理由：Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计，可了解自适应延迟的取舍思路。

  1. Inworld AI Blog70

    Inworld Realtime TTS-2 正式可用：听全上下文、自然语言导声、100+ 语言单一音色

    Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用（GA），面向实时对话设计：模型接收完整对话音频，感知用户的语气、节奏与情绪状态，并支持用自然语言像提示 LLM 一样下达 voice direction；同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。

    推荐理由：实时 TTS 从静态朗读转向双向对话的关键产品节点，100+ 语言音色一致性对全球化语音 Agent 影响直接。

  1. Cartesia Blog68

    Cartesia 发布 Sonic-3.6：盲测最高 93% 偏好率，重回榜首

    Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好，发布距 3.5 仅两个月，并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。

    推荐理由：TTS 头部产品高频迭代且数据扎实，反映语音生成竞争白热化。