LiveKit Agents 1.8.5 发布:新增粘性 LLM 回退路由与 Boson Avatar 插件
LiveKit Agents 1.8.5 新增粘性 LLM 回退路由,并加入 Boson Avatar 插件与 AWS Nova Sonic 2.5 支持。该版本还修复了 Google Vertex AI 工具响应携带调用 ID、OpenAI 实时重连时重放函数调用及输出、ElevenLabs WebSocket 预热等问题,并更新 pyjwt 至 v2.15.0。
LiveKit Agents 1.8.5 新增粘性 LLM 回退路由,并加入 Boson Avatar 插件与 AWS Nova Sonic 2.5 支持。该版本还修复了 Google Vertex AI 工具响应携带调用 ID、OpenAI 实时重连时重放函数调用及输出、ElevenLabs WebSocket 预热等问题,并更新 pyjwt 至 v2.15.0。
LiveKit 从四个工程问题对比 Retell、Vapi 与 LiveKit 三款语音 AI 智能体平台:上线后由谁迭代、需求超出默认配置时如何改动、是否需支持电话之外的 Web、移动、视频与 WhatsApp 等渠道,以及规模化成本。三者每分钟全包成本估算分别约为 $0.070–$0.310、$0.070–$0.116 和 $0.037–$0.099,仅 LiveKit 支持 Apache 2.0 开源与自托管。
继 DaVinci Resolve Studio 之后,Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro:每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线,可按行导演情绪、风格与语速,生成词级时间对齐字幕,并用约 10 秒自己的音频构建 100+ 语言的定制音色;使用自己的 Boson API key,按用量计费,Final Cut Pro 版本在开发中。
推荐理由:AI 配音进入主流专业剪辑软件时间线,把 TTS 能力落到视频生产工作流,实用面较广但属常规产品扩展。
Tavus 定义 PAL(Personified Application Layer,人格化应用层):跨聊天、语音、视频看、听、记忆并自适应的新型应用形态,是其产品体系的概念基座。
推荐理由:PAL 概念是 Tavus 全部产品线的统摄框架,理解其方向的入口文档。
Tavus 提出 Personified Application Layer(PAL),把感知、共情与记忆打包成可面对面交谈的应用,并给出 Tavus Turing Test 分级:Stage 0 只有渲染的脸和声音,Stage 0.5 具备人格但上下文限于单次会话,Stage 1 才是能跨交互记忆、推理并主动行动的持久 PAL。Tavus 称该测试是面向 PAL 团队的设计成熟度模型,并非经外部验证的基准。
Cactus 工程博客给出 Whistle(16.9 MB 端侧 STT 模型)的实用指南:输入为 16 kHz 单声道 float,单次调用最长 30 秒,超出需分片或走流式 API;word_timestamps=True 可输出词级起止与置信度,时间分辨率约 80 ms;流式模式下每个分块重转写缓冲音频,连续两轮一致的词才会提交,保证已出文本不被回改。
Google 回顾 9 月 AI 更新,最新前沿模型 Gemini 4 Argon 具备 100 万 token 输出上限,面向网络安全防御,目前通过 Fairwind Program 向受信任防御者分阶段开放。同月还发布 Gemini 3.8 Flash 与 3.8 Flash Cyber、Gemini 3.8 Live 语音模型,并为 Gemini 应用新增 Connected Apps。
Vincent Wargnier 与 Nayl Ahmadulin 在赛前五天组队,凭 Compass 拿下 Boson AI 的 Higgs Realtime 黑客松第一名。Compass 是能在后台搜索、推理并执行建站等重任务的同时保持自然对话的语音智能体,不会因工具运行而沉默,而是继续提问、吸收中间结果。Wargnier 认为现有语音智能体在长任务中要么静默、要么只给无用状态提示,这正是其想解决的问题。
Cactus 发布开源语音识别模型 Whistle,单文件 16.9 MB、纯 CPU 运行无依赖,面向手机、可穿戴、机器人、智能家居、汽车与微控制器;支持英德法西意荷波 7 种语言(可自动检测),单次转写最长 30 秒 16 kHz 单声道音频,首 token 延迟 11 ms,输出词级时间戳,并与 Needle 共享同一 C++ 引擎与量化方案,可在浏览器端离线运行。
推荐理由:把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响,是端侧语音这一细分方向上规格突出的开源发布。
Boson AI 的 Higgs TTS 3 在 Hume AI 语音复刻榜单中位列 11 个模型第四,口音参考音得分 4.28 为全场最高,略高于 VoxCPM2,并领先 Fish Audio S2 Pro、ElevenLabs v3 和 ElevenLabs Multilingual v2。该评测由三名人工评分者在不知模型来源的情况下按 1 至 5 分打分,测试集含 25 个参考音,其中 15 个带不同口音、9 个来自非英语母语者。Higgs TTS 3 的 Same Speaker 得分为 3.83,客观相似度 0.74 并列第三,音质 4.38 与最高分相差 0.23。该模型为开放权重,已在 Hugging Face 上线,上月下载量接近 10 万次,并可通过 Higgs TTS API 使用。
Mux 发布 Robots playground,可在 Dashboard 中直接对自有视频运行 AI 工作流并查看格式化输出,无需先写代码。工作流涵盖摘要、关键片段提取、字幕翻译与内容审核,每次调用即真实 Robots API 任务,输出保留 30 天并按 unit 计费。页面支持参数与输出引导调优、两次运行结果并排对比,并可复制 agent prompt 将调优配置带入生产。
Tavus 用 Personified Application Layers(PALs)构建实时 AI 产品演示,让 AI 数字人在直播演示中即时回答买家的定价、集成与安全问题,并当场预约会议。其 Phoenix-4.5 面部行为引擎支持 10+ 种可控情绪状态,Raven-1 多模态感知以低于 100ms 延迟融合语气与表情,Sparrow-2 在 TurnBench 公开开发集上达到 92.4% 轮次结束召回率。
Tavus 撰文对比 AI copilot 与 AI agent 的产品选型:copilot 在人工任务内提供草稿与建议、由人保留否决权,agent 则接受目标后自主调用工具直至完成。文章引用 Gartner 定义与四级自主性分层,指出二者在自主性、触发范围、问责归属和集成范围四个维度分化,并强调当对话本身即交付物时,需要真实在场感的 AI 视频 agent。
Tavus 在八款 AI 客服平台横评中位列第一,其 Conversational Video Interface 通过托管 WebRTC 连接实现低于 200ms 的响应延迟,Sparrow-2 模型在 81% 的轮次结束点达到人类典型应答时机。Anam 以单张照片生成数字人并公布低于 1 秒的中位对话延迟,UneeQ 则面向受监管企业提供云、混合与本地部署。评测按渠道覆盖、知识 grounding、工单系统适配、定价与合规等维度排序。
Tavus 介绍用约 2 分钟视频训练 AI 克隆的完整流程:在 PAL Maker 中上传片段、选择训练路径并预览 Replica,录制需 1080p、25fps 以上,且包含至少 30 秒说话片段。实时 PAL 通过 Raven-1、Sparrow-2、Phoenix-4.5 等模型实现 40fps 1080p 面部渲染与约 30ms 知识库检索,并借助 Persistent Memory 跨会话记忆。
文章从语音识别到语音合成拆解 AI 语音机器人管线,并论证实时视频是企业会话式 AI 的下一形态。
Tavus 提出用实时视频智能体在对话进行中给出反馈,而非事后评分卡,可捕捉语气、节奏和犹豫等文字记录无法呈现的信号。其 PAL 在面试练习场景中已记录 120 万分钟以上练习时长,用户在与真人感面试官互动时停留时长增加 42%、完成会话数增加 35%。
Tavus 提出用 AI 微服务架构拆分实时视频智能体,将感知、对话流、推理和面部行为生成拆为四个可独立部署、独立扩缩容的服务,避免单体架构中一处卡顿导致整张脸冻结。感知服务输出上下文陈旧度不超过 300ms,行为生成需维持 1080p 下 40fps,并满足 ITU-R 音频领先视频 45ms、滞后 125ms 的可察觉阈值。
数字孪生是某个特定物理对象的虚拟模型,靠传感器数据持续同步、实时更新,用于监测、预测和决策,ISO 23247-1 将其定义为可观测制造要素的适用数字表示。它与仿真、复刻人的区别在于:仿真无实时数据,复刻人只从录制视频训练一次、不再与本人重新同步。Tavus 认为,把复刻人称作数字孪生会误导用户以为存在实时连接,并建议用 Replica 加 Personified Application Layer(PAL)来区分外观声音与对话系统。
文章梳理销售 AI 从文本、语音到视频的三层演进,认为视频智能体补上面对面时机感、感知与临场感,适合叠加进现有销售工具栈。
Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。
推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。
Inworld 宣布收购实时语音 Agent 平台 Ultravox,其团队加入并继续维护平台;双方此前已有 TTS 合作。Ultravox 带来语音理解、推理与任务执行以及话轮/打断管理能力,与 Inworld 的 Realtime TTS-2、Realtime STT-1 及实时推理基础设施整合,首个整合改进已上线。
推荐理由:语音 Agent 赛道少见的端到端并购,理解侧与生成侧头部团队合并,行业格局信号明确。
Hume AI 用自建评分标准独立评测了 5 个 Gemini TTS 模型的多说话人对话能力,Gemini 3.8 Flash 与 3.8 Flash-Lite 综合得分最高,分别为 4.11 和 4.10。情感控制是各模型最强项,达 4.26 至 4.31;说话人区分度最弱,五个模型中四个垫底,同性别组合尤其困难,男男配对平均仅 2.87。
流媒体平台可用 Amazon CloudFront 缓存标签按语义分组缓存对象,并通过单次 API 调用精准失效,替代逐条枚举 URL 路径或通配符刷新。配合 EventBridge 与 Lambda,可构建事件驱动的自动刷新链路,从事件发布到缓存清除通常在数秒内完成。每个缓存对象最多 50 个标签,标签不支持通配符,每月前 1000 条失效路径或标签免费,超出部分每条 $0.005。
Phoenix-4.5 是首个将情感状态生成、主动倾听行为与连续面部动作统一为单一系统的实时模型,文章以代码讲解其状态空间建模实现,覆盖毫秒级延迟的上下文感知表情与头部动作。
推荐理由:实时数字人行为生成的技术深度文,披露模型架构思路与延迟水平。
文章对比免费生成器(产出单向视频片段)与企业级 AI 数字人(实时看听说),指出免费档失效的位置与时机。
ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。
推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。
IIT RTC Conference 2026 将"AI in RTC"设为与 WebRTC 并列的独立分论坛,语音AI对实时系统提出的规模、延迟、信任问题被正式承认为独立研究方向。会议讨论指出,语音AI路径天然非点对点,TURN中继转发压力随并发迅速堆高,可用eBPF将ChannelData包转发下沉内核层;一次对话约800毫秒延迟预算中,端点检测最难做准。2026年8月公开评测显示,语音端到端延迟最快已达0.44秒。
Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。
推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。
Pion WebRTC 发布 v4.2.22,将 TCP mux 写缓冲设为 4 MB,并处理了媒体方向被省略的情况。该版本自上一版以来共合并 16 个提交到 main 分支。
Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。
推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。
SRS 发布 8.0 开发版首个版本 v8.0-d0,对应 8.0 dev0 与 v8.0.48,代码约 328208 行,并在 README 和 SRS 8.0 changelog 中加入该发布线。该版本提供源码包 srs-server-8.0-d0.tar.gz、CentOS7 x86_64 二进制包,以及 ossrs/srs:8、ossrs/srs:v8.0-d0、ossrs/srs:8.0.48 三个 Docker 镜像标签。
推荐理由:SRS 发布 8.0 开发版首个版本,给出了版本号、代码规模和 Docker 镜像标签,可据此判断升级节奏。
SRS 发布 v7.0-a1,即 7.0 alpha1 版本,对应版本号 v7.0.165,代码量 315306 行。该版本提供源码包 srs-server-7.0-a1.tar.gz 与 CentOS7 x86_64 二进制包,并已推送 Docker 镜像 ossrs/srs:7、ossrs/srs:v7.0-a1 和 ossrs/srs:7.0.165。
文章核查流传的 3x 回复率:该数字源自 Sendspark 营销内容、无公开方法学;方法学最透明的是 Salesloft 对 1.34 亿封邮件(含 450 万封带视频)的分析,打开率提升 16%、回复率提升 26%;文末给出 CRM 触发的 PAL 外联工作流。
文章介绍与能看、听并实时反驳的视频智能体演练高风险谈判,并列出谈判训练平台的评估要点。
文章面向企业培训团队说明 AI 角色扮演的运作方式、相对传统练习的优势与平台选型要点。
文章称语音智能体能筛选线索但看不到视觉信号,视频智能体以临场感补足销售会话式 AI 中影响成交的维度。
文章面向开发者梳理会话式视频 AI 的 API 类别、集成模式与生产化所需条件,覆盖 2026 年口径。
文章列出会话式 AI 进入生产前应核验的事项:加密标准、合规认证、提示注入防护与审计日志,面向企业部署方。
文章区分两类产物:预渲染生成器输出成品视频文件,实时引擎维持活对话,建议按是否需要双向互动选择架构。