LiveKit Agents 发布 2.0.0b1 版本
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
用浏览器原生 Web Speech API 可在 JavaScript 中实现实时语音转写,无需自建本地识别服务器,音频由浏览器发往后端云服务处理。该 API 通过 SpeechRecognition 接口支持连续识别、临时与最终转写结果,但存在转写不一致、依赖浏览器、无法理解意图等限制,且准确率与延迟因浏览器而异。
Raise Financial Services 正基于 Cartesia 的语音模型开发多语言语音体验,其 Dhan 语音机器人已有超 75% 的交互使用非英语语言,其中印地语占一半以上。Cartesia 的 Sonic 文本转语音模型支持印地语、泰米尔语、泰卢固语、马拉地语等 11 种印度语言,并可在单次生成中切换语言。Raise 将模型部署在自有基础设施内,超三分之一语音机器人来电在非工作时间由 AI 独立处理。
Boson AI 与多伦多大学应用计算硕士(MScAC)项目将于 2026 年 10 月 23–24 日在多伦多举办第二届 Higgs Audio Hackathon,设数字人体验、语音交互等三个评审方向,CEO Alex Smola 及团队成员到场。活动面向所有人开放,不限校内。
whisper.cpp 发布 v1.9.5 维护版本,同步将 ggml 升级至 v0.26.0,nightly 构建号为 b5454。此次更新以 ggml 后端修复与优化为主,涵盖 CUDA、Vulkan、Metal、WebGPU、SYCL、Hexagon 等平台的 Flash Attention、量化与矩阵乘内核改进,并修复多处内存越界与溢出问题。
whisper.cpp 发布预发布版 b5454,将版本号提升至 1.9.5,对应提交 d1be6fd 已在 GitHub 上通过签名验证。该版本由 #4102 号改动完成版本号更新,目前以预发布形式提供。
Tavus 提出 Personified Application Layer(PAL),把感知、共情与记忆打包成可面对面交谈的应用,并给出 Tavus Turing Test 分级:Stage 0 只有渲染的脸和声音,Stage 0.5 具备人格但上下文限于单次会话,Stage 1 才是能跨交互记忆、推理并主动行动的持久 PAL。Tavus 称该测试是面向 PAL 团队的设计成熟度模型,并非经外部验证的基准。
Vincent Wargnier 与 Nayl Ahmadulin 在赛前五天组队,凭 Compass 拿下 Boson AI 的 Higgs Realtime 黑客松第一名。Compass 是能在后台搜索、推理并执行建站等重任务的同时保持自然对话的语音智能体,不会因工具运行而沉默,而是继续提问、吸收中间结果。Wargnier 认为现有语音智能体在长任务中要么静默、要么只给无用状态提示,这正是其想解决的问题。
Boson AI 的 Higgs TTS 3 在 Hume AI 语音复刻榜单中位列 11 个模型第四,口音参考音得分 4.28 为全场最高,略高于 VoxCPM2,并领先 Fish Audio S2 Pro、ElevenLabs v3 和 ElevenLabs Multilingual v2。该评测由三名人工评分者在不知模型来源的情况下按 1 至 5 分打分,测试集含 25 个参考音,其中 15 个带不同口音、9 个来自非英语母语者。Higgs TTS 3 的 Same Speaker 得分为 3.83,客观相似度 0.74 并列第三,音质 4.38 与最高分相差 0.23。该模型为开放权重,已在 Hugging Face 上线,上月下载量接近 10 万次,并可通过 Higgs TTS API 使用。
Tavus 用 Personified Application Layers(PALs)构建实时 AI 产品演示,让 AI 数字人在直播演示中即时回答买家的定价、集成与安全问题,并当场预约会议。其 Phoenix-4.5 面部行为引擎支持 10+ 种可控情绪状态,Raven-1 多模态感知以低于 100ms 延迟融合语气与表情,Sparrow-2 在 TurnBench 公开开发集上达到 92.4% 轮次结束召回率。
Tavus 在八款 AI 客服平台横评中位列第一,其 Conversational Video Interface 通过托管 WebRTC 连接实现低于 200ms 的响应延迟,Sparrow-2 模型在 81% 的轮次结束点达到人类典型应答时机。Anam 以单张照片生成数字人并公布低于 1 秒的中位对话延迟,UneeQ 则面向受监管企业提供云、混合与本地部署。评测按渠道覆盖、知识 grounding、工单系统适配、定价与合规等维度排序。
Tavus 介绍用约 2 分钟视频训练 AI 克隆的完整流程:在 PAL Maker 中上传片段、选择训练路径并预览 Replica,录制需 1080p、25fps 以上,且包含至少 30 秒说话片段。实时 PAL 通过 Raven-1、Sparrow-2、Phoenix-4.5 等模型实现 40fps 1080p 面部渲染与约 30ms 知识库检索,并借助 Persistent Memory 跨会话记忆。
文章从语音识别到语音合成拆解 AI 语音机器人管线,并论证实时视频是企业会话式 AI 的下一形态。
Tavus 提出用实时视频智能体在对话进行中给出反馈,而非事后评分卡,可捕捉语气、节奏和犹豫等文字记录无法呈现的信号。其 PAL 在面试练习场景中已记录 120 万分钟以上练习时长,用户在与真人感面试官互动时停留时长增加 42%、完成会话数增加 35%。
文章梳理销售 AI 从文本、语音到视频的三层演进,认为视频智能体补上面对面时机感、感知与临场感,适合叠加进现有销售工具栈。
Inworld 宣布收购实时语音 Agent 平台 Ultravox,其团队加入并继续维护平台;双方此前已有 TTS 合作。Ultravox 带来语音理解、推理与任务执行以及话轮/打断管理能力,与 Inworld 的 Realtime TTS-2、Realtime STT-1 及实时推理基础设施整合,首个整合改进已上线。
推荐理由:语音 Agent 赛道少见的端到端并购,理解侧与生成侧头部团队合并,行业格局信号明确。
Hume AI 用自建评分标准独立评测了 5 个 Gemini TTS 模型的多说话人对话能力,Gemini 3.8 Flash 与 3.8 Flash-Lite 综合得分最高,分别为 4.11 和 4.10。情感控制是各模型最强项,达 4.26 至 4.31;说话人区分度最弱,五个模型中四个垫底,同性别组合尤其困难,男男配对平均仅 2.87。
ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。
推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。
Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。
推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。
文章称语音智能体能筛选线索但看不到视觉信号,视频智能体以临场感补足销售会话式 AI 中影响成交的维度。
文章列出会话式 AI 进入生产前应核验的事项:加密标准、合规认证、提示注入防护与审计日志,面向企业部署方。
Hume 对 Google Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 预览版进行独立评测,两款模型分列 Expressivity–Reliability 前沿评分第一、第二,达 0.920 和 0.914。相比 Gemini 3.1 Flash TTS,长文本稳定性得分从 1.22 升至 2.89 和 3.03(五分制),语音设计可控性领先,但说话人相似度与部分精细控制仍偏弱。
Cartesia 发布 Multilingual Voices,50+ 音色库音色原生支持最多 25 种语言,自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS,或在仪表盘中为克隆音色最多添加 9 种新口音和语言。
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
外呼销售平台 Orum 基于 Tavus CVI 构建 AI 角色扮演教练:Raven-1 读取语气与视线,Phoenix-4.5 渲染表情,Sparrow-2 管控对话节奏;使用该功能的代表会议预约率提升 3 倍,每周功能活跃率超 50%,公司归因约 25% 营收增长,原型耗时不足一周。
文章观察会话式 AI 市场集体加面孔的趋势,对比 2026 年五家语音 AI 平台并分析 AI 视频智能体对企业买家的意义。
文章介绍实时 AI 智能体如何替代稀缺的练习伙伴,强化异议处理并在每次真实通话前提供按需排练。
文章认为视频形态的销售模拟更接近真实对话,因为销售可以同时看到并听到潜在客户的反应信号。
文章讲解 AI 客服智能体工作原理并对比 2026 年主流平台,指出基于视频的 PAL 能承接文本智能体处理不好的对话。
文章主张 AI 销售外联采用直播视频:潜在客户可以质疑、打断并实时获得回答,值得作为新渠道测试。
Tavus 博客借 Apple 预览新版 Siri 的契机,回顾 1987 年的 Knowledge Navigator 概念视频:当时 Apple 已设想超越点选、具备对话与代理能力的个人 AI 助手界面。作者用一台 1987 年 Macintosh SE 撰写本文,探讨该构想与今日语音数字人助手之间的对应关系。
文章列举 10 个 FAQ 机器人之外的真实部署:患者分诊、销售辅导等,并区分能真正解决与只会转接的系统。
文章认为语音承载话务量但留有信任缺口,AI 数字人以临场感改善首解率(FCR)并留住高风险对话中的客户。
文章给出企业选会话式 AI 平台的 ROI 模型、评估标准与干系人决策框架。
文章按实时练习、延迟与合规三项对比销售赋能软件中的 AI 视频教练工具。
文章提出分工判断:语音承载话务量,视频建立信任,并按对话类型划分该上电话还是需要真人面孔。
文章称 AI 视频智能体可替客户成功团队主持续约、增购与季度业务回顾对话,推动账户实际进展。
文章厘清会话式 AI 与生成式 AI 的区别与重叠,并列出产品负责人在二选一前应评估的要点。
Tavus 为 PALs 推出长期记忆功能 Memories,按每段 PAL 与用户的关系维护独立的记忆存储,包含描述用户偏好与目标的 Profile 和记录对话事件的 Timeline。该设计将实时对话所需的持续关系上下文与按需历史检索分离,避免每次响应前增加搜索步骤;记忆内容可查看、纠正和删除。
文章认为 2026 年选 AI 智能体平台的核心是选对话界面,并按文本、语音、视频三类智能体逐项对比。