Tavus 发布 Deployments:把 PAL 智能体发布到真实使用场景
Tavus 推出 Deployments 功能,可将构建好的 PAL 发布到实际业务场景对外使用,由 CEO Hassaan Raza 宣布,补齐从创建到上线的环节。
推荐理由:Tavus PAL 产品链路的关键一环,从开发工具走向可交付应用。
Tavus 推出 Deployments 功能,可将构建好的 PAL 发布到实际业务场景对外使用,由 CEO Hassaan Raza 宣布,补齐从创建到上线的环节。
推荐理由:Tavus PAL 产品链路的关键一环,从开发工具走向可交付应用。
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。
LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。
推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。
Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。
推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。
Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。
推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。
speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。
推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。
SeedRealtime 以统一端到端架构原生融合音频、视频与文本,在连续多模态流上同步完成感知、理解与表达,支持结合画面消解同音歧义、时序指代理解,并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示,相比级联模型其音视频对话节奏问题减少一半,已在豆包 App 视频通话全量上线。
推荐理由:业界率先把音视频全双工技术规模化落地的模型发布,代表语音 Agent 从语音向全模态演进。
声网对曝光的微软 MAI Realtime 语音模型进行拆解,聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性,属实时语音模型竞品观察。
推荐理由:对头部厂商实时语音模型的技术观察,有助于判断全双工语音模型竞争格局。
Mux 停用第三方 RUM 选路,改为自建 CDN Router:每秒级探测节奏是对每家 CDN 与 4 个源站每 60 秒探测一轮,结果写入跨区域 CockroachDB(原始探测、决策与 CDN 实时用量),leader 每分钟基于最近 5 分钟数据判定各区域“足够好”的 CDN,请求路径只做 IP 定位 + 查表 + 加权随机排序,官方称选路 p99 为 9.9ms;同时把冗余流(redundant streams)从 opt-in 改为 opt-out,播放器可在流中途切换 CDN。
推荐理由:多 CDN 选路的完整工程复盘,含探测频率、决策窗口、p99 与冗余流默认开启策略。
在去年把 330+ 城市全部变为 MoQ relay(每日仍有 1000+ 客户端测试)之后,Cloudflare 新增隔离与访问控制:一次 API 调用即可创建独立 relay 并签发 publish/subscribe 分级 token,无需选区域、估容量、配负载均衡;同时支持 MoQ Transport draft-14 与 draft-16,draft-16 的 PUBLISH 让 relay 在首个观众到来前就开始收流,SUBSCRIBE_NAMESPACE 支持按命名空间批量订阅;beta 期免费。
推荐理由:MoQ 从开放预览走向可生产使用的关键一步,发布/订阅权限模型对直播与竞拍等场景是刚需。
Tavus 推出 PAL Maker,用户可创建具备看、听、记忆能力的 PAL(人格化应用层)并投入实际使用,由 CEO Hassaan Raza 宣布。
推荐理由:Tavus 产品线的关键发布,标志其从 CVI API 向终端应用层扩展。
LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。
推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。
字节 Seed 团队发布 Seed Audio 1.0 音频生成模型,官方定位为业内首个可通过单条 Prompt 直接生成影视级音频的模型,支持文本、音频等多模态输入,覆盖音效等全要素音频创作。
推荐理由:豆包语音产品线从 TTS 走向全要素音频生成的标志性版本。
Tavus 推出 Presentation Mode,把演示文稿交给 PAL 实时讲解:既可从头讲到尾,也能在提问时调出对应页面,让团队常讲的内容随时可被启动。
推荐理由:PAL 应用形态的重要功能扩展,视频智能体开始承担知识交付。
Tavus 推出 Magic Canvas,为每次 PAL 对话提供共享交互画布:可即时调出按讨论数字动态绘制的图表、可选项的日历等组件,用户操作 PAL 实时可见并即时回应。
推荐理由:对话内交互组件是视频智能体从纯对话走向任务完成的关键功能。
Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。
推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。
Tavus 宣布 PAL 可像邀请同事一样加入 Google Meet:开摄像头、跟随对话并实时应答,可做会议记录、随行销售通话或主持站会;官方称 Zoom 与 Microsoft Teams 支持为下一步。
推荐理由:AI 视频智能体深度嵌入主流视频会议平台,是行业级产品动作。
Agora 推出官方 CLI,开发者可在命令行完成 Agora 项目创建、配置与管理等操作,减少在控制台与代码间来回切换的成本。
推荐理由:开发者工具链的补全,对 RTE 平台工程化接入有实际意义。
腾讯云游戏用自研 Tencent-RTC 做抗抖动与网络自适应:发送端缓存视频帧、接收端按网络动态调缓冲深度,并用预测算法生成中间帧补偿丢包;传输上基于 UDP 并叠加 FEC 与 ARQ,按数据类型(游戏指令、视频帧、音频)设差异化优先级;量化表现为稳定网络下端到端 50-70ms,盛趣游戏案例做到 1080P/60 帧下延迟小于 40ms,全球部署 2000+ 边缘节点。
推荐理由:云游戏这一延迟最敏感场景的厂商实测数据与机制说明,40ms/1080P60 的案例有参考价值。
火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。
推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。
LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。
推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。
把弱网分为带宽抖动、高丢包、高延迟、持续拥塞四类,对应三件武器——自适应编码动态调码率与量化参数、弹性帧率从 60/120fps 平滑降到 30fps、关键帧与参考帧选择性重传;核心是用智能码控统一决策“降码率 vs 降帧率 vs 加重传”,避免编码器与重传模块策略打架导致总带宽失控。
推荐理由:讲清了多机制并发时的策略冲突与统一指挥思路,对自建弱网策略编排有启发。
LiveKit 基于自身实时基础设施发布面向机器人的遥操作、数据采集与远程推理生产级方案(LiveKit Portal),延续其在多参与者机器人场景的布局。
推荐理由:实时音视频进入物理 AI/机器人遥操作场景的代表性产品方案。
Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。
推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。
LiveKit 官方推出 C++ SDK 1.0,为 C++ 应用提供实时音频、视频与数据通道能力,官方定位面向机器人、低延迟 AI 推理和高性能媒体管线场景。
推荐理由:补齐 LiveKit C++ 生态的关键产品更新,直接影响机器人与端侧实时音视频开发。
文章对比三条路线:纯 WebRTC 延迟 <200ms 但千人以上分发困难,纯 RTMP 3-5 秒延迟且不支持双向,RT-One 用统一架构让台上连麦走 RTC(<300ms)、台下观看走快直播(<1s),观众举手上麦时无感切换;给出的量化指标包括 2000+ 全球节点、抗丢包 >80%、单课堂 10 万人,并按 1v1 教学、万人公开课、小班课等场景给出选择依据。
mediasoup 3.20.0(Node 3.2.0、Rust 0.22.0)用参考 libwebrtc dcsctp 实现的内置 SCTP 栈替换 usrsctp,解决 Rust 多 worker 线程下 usrsctp 非线程安全的问题;SctpParameters 类型与传输层选项同步调整,官方给出 demo 迁移 PR 作为升级参考。
推荐理由:SFU 核心依赖层的重大重构,直接影响所有使用 DataChannel/SCTP 的 mediasoup 部署。
Google 公布内容透明度工具进展:SynthID 不可见水印已用于 AI 生成的图像、视频与音频,累计标注超过 1000 亿张图像/视频与 6 万年时长的音频;C2PA Content Credentials 从 Pixel 10 相机扩展到 Pixel 8/9/10 的视频拍摄。SynthID 验证已在 Gemini App 使用 5000 万次,并扩展到 Search 与 Chrome 的“Is this made with AI?”查询;OpenAI、Kakao、ElevenLabs 将引入 SynthID,Google Cloud 上线 AI Content Detection API。
推荐理由:AI 生成媒体的水印与溯源正在成为音视频平台的合规基础设施,该更新给出规模化数据。
SD-RTN 以全球 200 多个数据中心(文中另处称 250+)组成软件定义实时网,用基于 UDP 的多路复用传输协议与智能调度系统做动态路由;对外给出分档质量承诺:200ms 内包到达率 99.9%(RTC)、800ms(极速直播)、2s(一般直播),并说明 FEC、自适应码率等弱网对抗手段与传输层加密、抗 DDoS 机制。
推荐理由:厂商自述底层传输网的架构与可量化 SLA 指标,是理解 RTC 私有传输网络的直接材料。
LiveKit 为外呼语音 Agent 增加答录机检测能力(AMD),自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为,支持自动问候、留言与按键导航。
推荐理由:外呼语音 Agent 落地的关键工程细节,直接影响电话场景接通质量。
Cloudflare Stream 新增 Workers Binding,开发者可在 Worker 内直接上传视频、创建直传链接、生成签名播放 URL 及管理元数据、字幕与水印,无需手动调用鉴权 API,示例含将 AI 生成视频直接写入 Stream。
推荐理由:Stream 与 Workers 平台融合的关键一步,面向视频管线与 AI 生成内容场景。
OpenAI 在 API 中同时上线三款音频模型:GPT-Realtime-2(首个具备 GPT-5 级推理能力的语音模型,可在对话推进中调用工具)、GPT-Realtime-Translate(70+ 输入语言实时译为 13 种输出语言)与 GPT-Realtime-Whisper(流式语音转写)。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。
推荐理由:实时语音模型层的标杆性更新,直接定义语音 Agent 上限,行业影响大。
Ant Media Server v3.0 彻底清理废弃 API 以支撑插件化架构,新增 AV1 编解码与 SRT re-stream 能力,改进 LL-HLS 集群播放,同时引入 MoQ 插件、AI 视频帧处理插件及 Scribe 自动字幕、Scotty SSAI 等合作伙伴插件。
推荐理由:开源流媒体服务器季度节奏下的大版本,协议覆盖(AV1/SRT/LL-HLS/MoQ)扩展有代表性。
LiveKit Inference 正式支持声音克隆:克隆一次后可跨多个 TTS 供应商使用,并在生产环境中提供自动 fallback,为语音 Agent 定制音色。
推荐理由:语音 Agent 音色定制与供应商解耦的实用能力更新。
Chrome 148 将视频与音频元素的延迟加载纳入默认功能集,此外还包含 CSS 名称限定容器查询、Prompt API、WebRTC 数据通道始终协商等更新。
推荐理由:媒体元素 lazy loading 进入稳定版,影响视频站点的加载策略与带宽优化。
Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用,在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言,可实时自动检测语言并支持会话中切换与原生 code-switching;基于模型的轮次判定让 end-of-turn 决策低于 400ms,兼容既有 Flux API 并提供自托管与 EU 端点。
推荐理由:把 Flux 的对话式 ASR 能力扩展到多语言,免去多模型拼接与路由,是语音 Agent 感知层的实质性升级。
Janus 收到多方漏洞报告后紧急发布 1.4.1(multistream)与 0.16.1(legacy),修复由 Haruto Kimura(Stella)与 Kelvin Mbogo(Add Content)报告并协助修复的安全问题,官方建议所有用户升级。
推荐理由:WebRTC 媒体服务器的安全修复版本,自托管部署需要跟进。
Ant Media Server 以插件形式支持 MoQ:直播流自动经 MoQMuxer 发布到内置 moq-lite relay,浏览器经 WebTransport + WebCodecs/MSE 亚秒级播放,也可从外部 relay(含 Cloudflare MoQ)拉流入 AMS 做录制、转码与再分发;支持 H.264/H.265 与 AAC/Opus,Safari 播放需 macOS/iOS 26.4+。
推荐理由:传统流媒体服务器接入 MoQ 生态的代表案例,提供 moq-lite 与 IETF 全量规范差异的工程视角。
Cloudflare 在 Agents SDK 中加入实验性语音管线,通过 WebSocket 实现实时语音交互,开发者可用连续 STT 与 TTS 快速为 Agent 增加语音能力。
推荐理由:Cloudflare 正式切入语音 Agent 赛道,边缘平台与语音栈结合的代表动作。
LiveKit 推出 Agent Console 实时调试界面,可在一个面板中查看语音 Agent 的时延、工具调用、SIP 参与者、打断、RPC 与转写文本等状态。
推荐理由:语音 Agent 可观测性工具的迭代,开发调试体验的重要补充。