Tavus 谈视频销售外联：PAL 让规模化个性化触达变成双向实时对话
文章称 AI 智能体把视频外联变成可实时问答、捕捉犹豫并直接约会的双向对话，无需销售真人录制。
#语音 Agent
Tavus Blog评分3838 Tavus Blog评分3838 Tavus 推出 AI 演讲陪练：用视频智能体模拟听众并反馈语速与问答
文章介绍基于 Tavus CVI 的 PAL 教练，可在正式路演前模拟真实听众，对节奏、语气与问答给出实时反馈。
Tavus Blog评分4040 2026 年六家销售辅导平台对比：AI 视频如何替代经理陪练
文章说明 AI 视频智能体如何补充经理辅导之间的练习空档，并按 2026 年口径对比六家销售辅导平台。
Tavus Blog评分4545 Tavus 盘点 2026 年企业会话式 AI 趋势：多模态数字人与代理式工作流
文章列出重塑企业高价值对话的趋势，包括多模态 AI 数字人与 agentic 工作流，属厂商趋势综述。
Cactus Engineering Blog评分1919 如何为 Needle 3 设计工具：把约束写进 schema 与语法
Cactus 分享为 Needle 3 设计工具集的规则：每个动作一个工具，参数必须从请求原文中复制，无对应文本的必填参数会直接扣留调用。工具名和枚举值应使用用户会说的词，取值范围、枚举、长度等约束编译进解码语法，使非法值无法生成。描述无法穷举的说法可用触发器正则匹配，将解码限定到对应工具并强制产生调用。
Hume AI Blog精选评分6262 Hume 发布语音可控性排行榜，评测 17 个 TTS 模型
Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。
推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。
Boson AI Blog评分4040 Higgs TTS 3 新增文本归一化与词级时间戳
Higgs TTS 3 API 新增文本归一化与词级时间戳：归一化默认开启，可将数字、日期、货币、URL、缩写等改写为口语形式，自动识别中英法德等 14 种语言，也可用 enable_tn: false 关闭。词级时间戳需设 timestamps: true，目前支持英语、中文和西班牙语，其他语言返回 null，且需将 stream 设为 false，与流式同用会返回 400 错误。
Google AI Blog精选评分6262 Google 发布 Gemini 3.8 Live 与 3.5 转写模型
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe：3.8 Live 为原生语音到语音模型，支持异步函数调用（后台执行工具调用同时继续流式输出音频）、视觉上下文与 97+ 语言；3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一；3.5 Transcribe 覆盖 85+ 语言，官方给出平均 WER 4.0%（流式）与 2.6%（非流式）。
推荐理由：实时语音链路上游模型的关键更新，直接影响语音 Agent 与实时转写方案的选型。
Cartesia Blog评分4545 Cartesia 撰文辨析：TTS 模型与音色是两个东西，混淆导致设计失误
Cartesia 产品博客将音色类比为 LLM 的 system prompt：模型提供通用能力，音色作为输入塑造输出；文中区分固定说话人模型与带音色输入的模型，指出混淆两者会导致语音 AI 设计决策失误。
Tavus Blog精选评分7171 Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。
推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。
Pipecat Releases精选评分5252 Pipecat 发布 v1.10.0：支持 openai 3 与 anthropic 1 SDK，Speechmatics 改用 Agent STT
Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。
推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。
Hume AI Blog精选评分6262 Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果
Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。
推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。
Tavus Blog评分4646 Tavus 支持 40 余种语言的多语会话式 AI：自动检测语言并以其应答
文章介绍多语会话式 AI 能力：检测客户语言并用同一语言实时应答，覆盖 40 余种语言的企业部署场景。
Hugging Face Speech-to-Speech Releases精选评分6262 Hugging Face speech-to-speech 发布 v1.0.0：统一 Realtime 引擎与 serve/talk/local 三命令
speech-to-speech 项目发布首个大版本 v1.0.0，整合为 serve、talk、local 三个命令，新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写，并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK，覆盖 WebSocket 与 WebRTC 两种传输的集成测试，Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由：开源全栈语音对话管线的 1.0 里程碑，命令行与后端生态明显收敛，适合做语音 Agent 自建参考。
Cartesia Blog评分4040 Cartesia 科普：语音 AI 评估为何该看精确率与召回率而非准确率
以 RAG 检索 top_k 取舍为例讲解 precision/recall 权衡：top-3 高精确低召回、top-50 高召回低噪声风险，指出模型可以靠什么都不做拿到 90% 准确率，因此语音 AI 评估需要更诚实的指标。
Meta AI Research Blog精选评分7474 Meta 发布 Muse Voice Transcribe 实时语音感知模型
Meta Superintelligence Labs 发布 Muse Voice Transcribe，一个实时音频感知模型，支持流式 ASR、20 人以上说话人分离和端点检测，原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块（12.5 Hz）自回归处理，通过强化学习实现自适应延迟，在速度与准确率之间取得权衡；训练覆盖 70 多种语言，其中 25 种经过充分验证，并支持超过一小时的长音频输入。
推荐理由：Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计，可了解自适应延迟的取舍思路。
Inworld AI Blog精选评分7070 Inworld Realtime TTS-2 正式可用：听全上下文、自然语言导声、100+ 语言单一音色
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用（GA），面向实时对话设计：模型接收完整对话音频，感知用户的语气、节奏与情绪状态，并支持用自然语言像提示 LLM 一样下达 voice direction；同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由：实时 TTS 从静态朗读转向双向对话的关键产品节点，100+ 语言音色一致性对全球化语音 Agent 影响直接。
Cartesia Blog精选评分6868 Cartesia 发布 Sonic-3.6：盲测最高 93% 偏好率，重回榜首
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好，发布距 3.5 仅两个月，并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由：TTS 头部产品高频迭代且数据扎实，反映语音生成竞争白热化。
Daily.co Blog精选评分6262 Pipecat 发布 PhoneLLM Alpha 1 语音智能体开源模型与 PhoneBench v1 基准
Pipecat 团队发布 PhoneLLM Alpha 1，一个面向语音智能体场景的开源权重模型，基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调，采用 MoE 架构、3.5B 激活参数，以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当，但成本低 94%、P95 首 token 时间快 1,300ms，单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准，用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本；权重已上线 HuggingFace，官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由：原文给出模型规格、延迟与成本测算方式，读者可据此判断自托管语音智能体是否划算。
声网博客精选评分5858 NVIDIA Nemotron Voice Agent 更新 v2.1.0：重点增强多语种声音与轮次判断
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新，重点提升多语种声音能力与对话轮次判断，声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由：NVIDIA 语音 Agent 栈的版本演进动态，反映芯片厂商在语音 AI 栈上的发力方向。
Cartesia Blog精选评分5858 Ink-2 新增关键词提示与可配置轮次检测：专有名词转写更准
Cartesia 为流式 STT 模型 Ink-2 发布两项功能：keyterm prompting 支持最多 100 个关键词（共 1200 字符）无额外延迟地提升品牌名、药名等实体转写，可配置 turn detection 则允许在端点检测的速度与准确率间调优，并给出 Earnings22 关键词召回数据。
推荐理由：面向语音 Agent 实战的 STT 能力增强，关键词提示是行业普遍痛点。
Cactus Engineering Blog评分3636 Needle 2：面向微型设备的 14 MB 智能体 LLM
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。
Hugging Face Speech-to-Speech Releases精选评分5858 Hugging Face speech-to-speech v0.2.12：Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输
speech-to-speech 0.2.x 线的收官版本：Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿（可用 --no_smart_turn 回退 Silero）；为 OpenAI Realtime API 新增 WebRTC 传输，在 POST /v1/realtime/calls 做 SDP 协商，RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池；并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。
推荐理由：0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力，是 v1.0 之前的稳定基线。
声网博客精选评分6060 声网拆解微软 MAI Realtime：全双工语音、17 种语言与低延迟打断
声网对曝光的微软 MAI Realtime 语音模型进行拆解，聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性，属实时语音模型竞品观察。
推荐理由：对头部厂商实时语音模型的技术观察，有助于判断全双工语音模型竞争格局。
声网博客精选评分5555 声网发布 Go + Gin 搭建语音智能体服务端教程
声网开发者社区发布用 Go 与 Gin 搭建对话式语音智能体服务端的快速上手教程，覆盖服务端与声网 ConvoAI 能力的对接流程。
推荐理由：Go 生态语音 Agent 服务端教程在中文社区偏少，实用性强。
声网博客精选评分5555 声网开源项目：用 AI 让 C 罗解说梅西比赛，冲上 OpenAI 社区榜二
声网开发者社区分享一个开源 AI 赛事解说员项目，实现让 C 罗解说梅西比赛的效果并登上 OpenAI 社区榜单第二，文章给出实时语音 Agent 的工程实现思路。
推荐理由：世界杯期间的实时语音 Agent 实战案例，兼具趣味性与工程参考。
声网博客精选评分6464 OpenAI 未公布 GPT-Live 时延，Agora 自行实测给出数据
针对 OpenAI 未公布 GPT-Live 的端到端时延，Agora 自行搭建测试并公布实测数据，为语音 Agent 开发者选型实时语音模型提供延迟参考。
推荐理由：第三方对 GPT-Live 时延的受控实测，是实时语音模型选型的稀缺数据点。
Cartesia Blog精选评分6262 Cartesia 发布面向实时语音代理的语音识别模型 Ink-2
Cartesia 发布语音转文本模型 Ink-2，面向实时语音代理，称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一，并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s，在 14 种英语口音的 AppTek 基准上 WER 为 8%，内部生产环境基准 WER 为 6.5%，轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线，可通过 API 使用，并接入 LiveKit、Vapi 和 Pipecat，多语言支持尚在开发中。
推荐理由：官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据，可据此判断语音代理的选型取舍。
LiveKit Blog精选评分6666 LiveKit Agents 异步工具：用 ctx.update() 消除慢后端调用期间的通话静默
livekit-agents 1.6.0（2026-06-11）起支持异步函数工具：工具是同步的直到它调用 await ctx.update(message)，首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值，语音 Agent 因此可以先播报进度、后台继续执行，后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示（验证订单 6 秒 + 出款 8 秒，共约 14 秒静默导致用户挂断），并给出可取消工具（cancelable 标志会向 LLM 暴露取消工具）、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。
推荐理由：针对语音 Agent 工具调用冷场这一高频体验问题，给出可直接复制的框架级实现。
Cartesia Blog评分3030 如何为真实场景选择语音 AI 模型：ASR、TTS 与轮次检测评估指南
Cartesia 提出按真实用例而非实验室基准选择语音 AI 模型，指出演示中 600–800ms 的往返延迟在真实电话网络上会升至 2–4 秒、P95 达 5 秒。评估 ASR 应看完整转写时间 TTCT 而非首 token 延迟，端到端低于 200ms 对话才自然，超过 1 秒用户会重复发言；轮次检测的精确率与召回率决定打断和响应表现。
Cartesia Blog评分2222 语音 AI 术语入门指南：理解、评估和构建对话式语音 AI 的 20 个关键术语
Cartesia 发布语音 AI 术语入门指南，梳理构建对话式语音 AI 所需的 20 个关键术语，涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出，打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验，其 Ink-2 STT 模型已将轮次检测内置，无需单独集成 VAD 模型。
LiveKit Blog精选评分8080 LiveKit 发布 Turn Detector v1 话轮检测模型，300ms 延迟预算下误打断率 9.9%
LiveKit 发布端到端话轮（end-of-turn）检测模型 v1 与 v1-mini，直接对用户音频推理而不依赖转录，把语义分支（音频编码器+适配器+微调 LLM）与声学分支（时序、韵律）融合为单次判定，因此不再需要等待最终转写、也不依赖历史轮次上下文；同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%（Deepgram Flux 12.9%），600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认，v1-mini 为同一架构的开放权重模型（代码 Apache-2.0），随 Agents SDK 分发（Python 1.6.1 / TypeScript 1.4.7）。
推荐理由：话轮检测是语音 Agent 自然度的核心难点，该版本给出公开基准、多语言实测与默认可用路径。
腾讯云音视频专区精选评分5656 腾讯云音视频对话式 AI 服务解析：TRTC+ASR+LLM+TTS 架构与场景
文章拆解腾讯云音视频对话式 AI 服务的 TRTC+ASR+LLM/KB+TTS 端到端架构，覆盖客服、教育、出海同传与直播 AI Host 场景，提及中英及 20+ 小语种识别与 15 种语言实时互译等能力。
推荐理由：腾讯云对话式 AI 服务的架构与能力盘点，便于快速把握其产品边界。
LiveKit Blog精选评分5858 LiveKit 拆解语音 Agent 降噪：在 Agent、客户端还是 SIP 中继上做，选哪种模型
LiveKit 梳理降噪在音频链路中的三处落点——Agent 内（服务端处理入站音频，语音 AI 的推荐默认）、客户端 SDK（麦克风侧，支持 Krisp 与 WebRTC noiseSuppression）、SIP 中继（电话场景）——并区分两类增强模型：“背景噪声抑制”只去除非语音噪声、保留所有说话人，适合多说话人/说话人分离；“人声隔离”（BVC）进一步压制竞争人声、只留主说话人，适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上（模型按原始音频训练，二次处理会导致转写准确率下降，但标准 WebRTC 噪声抑制与回声消除可同时开启），并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。
推荐理由：降噪是语音 Agent 转写与话轮检测质量的前置环节，给出了清晰的落点与模型选择规则。
Google AI Blog精选评分7878 Gemini 3.5 Live Translate：70+ 语言流式语音同传
Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音，与逐句等待的系统不同，它在保留上下文与即时翻译间权衡，全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览，Google Meet 会议翻译语言上限从 5 种提升到 70+，并同步落地 Google Translate App。
推荐理由：实时语音翻译从轮次制走向流式制，LiveKit、Agora、Pipecat 等平台同日宣布接入，生态影响广。
Daily.co Blog精选评分7474 NVIDIA 发布开源多语言语音识别模型 Nemotron 3.5 ASR
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR，同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点，完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可，仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节，在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写，作者估算企业自托管成本约 $0.05/小时，而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由：作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置，并附自托管成本与并发配置，便于评估语音代理选型。
腾讯云音视频专区精选评分5858 基于腾讯云 TRTC 的 AI 实时对话方案与实践：双讲打断与全链路流式处理
文章梳理基于 TRTC 的实时对话式 AI 方案：打断默认 500ms（可调 300-5000ms）、STT/LLM/TTS 全链路流式处理、兼容 2 万种以上设备型号，并给出教育与硬件等场景的落地路径。
推荐理由：TRTC 在 AI 对话场景的方案级实践，含可查证的工程参数。
LiveKit Blog精选评分5858 LiveKit Agents 推出答录机检测（AMD）：外呼自动区分人声、语音信箱与 IVR
LiveKit 为外呼语音 Agent 增加答录机检测能力（AMD），自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为，支持自动问候、留言与按键导航。
推荐理由：外呼语音 Agent 落地的关键工程细节，直接影响电话场景接通质量。
LiveKit Blog精选评分6363 LiveKit Inference 上线声音克隆：一次克隆跨多家 TTS 供应商使用并自动降级
LiveKit Inference 正式支持声音克隆：克隆一次后可跨多个 TTS 供应商使用，并在生产环境中提供自动 fallback，为语音 Agent 定制音色。
推荐理由：语音 Agent 音色定制与供应商解耦的实用能力更新。
LiveKit Blog精选评分7070 LiveKit 逐项对比语音 Agent 两种架构：STT-LLM-TTS 级联与端到端 Realtime
LiveKit 对照级联管线（STT-LLM-TTS）与实时端到端（S2S）模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异：实时模型在情绪与韵律感知、串行开销上有结构优势，但工具调用准确率与可定制性较弱；管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控，但需要靠流式重叠（部分转写进 LLM、token 边到边进 TTS）才能压到接近实时模型。文章另给出两种混合方案：realtime 模型配独立 STT，以及半级联（realtime 只出文本、由独立 TTS 出声）。并指出电话网络为 8kHz G.711 音频，而实时模型多按 16–48kHz WebRTC 音频训练，呼叫中心场景管线通常更可靠。
推荐理由：语音 Agent 架构选型的系统性对照，覆盖延迟、工具调用与合规等实际决策维度。