LiveKit Agents 发布 2.0.0b1 版本
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
Google DeepMind 的 Thor Schaeff 介绍 Gemini API 的实时语音代理能力,包括低延迟、带音频标签的 TTS 模型,以及支持约 90 种语言、可自动检测说话语言并翻译成听者偏好语言的实时翻译模型。他还演示了面向实时对话代理的 Gemini 3.1 Flash Live,其底层 Live API 是低延迟 WebSocket 接口,支持流式文本、音频和视频,具备原生音频理解、打断处理、工具调用和音频转写能力,并提到与 LifeKit、PipeKit 的合作。开发者可通过 Google AI Studio 的 ai.studio/live 和 ai.dev/live 体验。
LiveKit Agents 发布 1.8.6,新增 Nabrah 阿拉伯语 STT 插件和 Sarvam bulbul:v4-flash TTS,并为 Speechify 加入流式 synthesize()、HTTP 连接复用与 prewarm()。该版本还修复了 AWS 实时会话在流重启后中断、OpenAI Responses API 连接预热、实时工具循环 max_tool_steps 未生效等问题,并让 gpt-5.1+ 在 reasoning_effort 为 none 时保留 temperature/top_p。
Jitsi 宣布 meet.jit.si 上的会议从即日起限制为 95 分钟,并预告将有更多变更。该公告由 Jitsi Meet 团队发布,未说明限制原因及后续变更的具体内容。
Safari Technology Preview 254 面向 macOS Golden Gate 和 macOS Tahoe 发布,包含 WebKit 321068@main 至 322634@main 之间的改动。CSS 新增 size、min-size、max-size 简写属性及 interpolate-size、calc-size() 等支持,并修复 CSS Grid 重排开销随 order 值不同的网格项数量呈二次增长等问题。
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑,默认低优先级调度,可在每次 PR 上运行并在失败时返回非零退出码;音频模拟覆盖含背景噪声、打断和附和声的完整音频链路,实时运行且计费更高,适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景,场景以 scenarios.yaml 版本化保存。该功能 10 月内免费,但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS,按正常费率计费。
推荐理由:LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟,并给出文本与音频两种运行方式的成本取舍。
mediasoup 3.29.0 修复了 SCTP 在空流列表下延迟流重置未生效的问题,并新增 sctpZeroChecksum 选项以启用 RFC 9653 定义的 SCTP 零校验和。该版本还调整了 consumer.getStats() 的丢包统计口径,fractionLost 和 packetsLost 现在只统计到消费端下行链路的丢包,不再把发送端上行丢包计入;同时移除 rtpPacketLossReceived 和 rtpPacketLossSent 两项传输自定义统计。
mediasoup Rust 0.30.0 发布,新增 sctpZeroChecksum 选项以启用 RFC 9653 定义的 SCTP 零校验和,并修复空流列表下延迟流重置未延迟入站数据的问题。该版本为破坏性变更:consumer.getStats() 的 fractionLost 与 packetsLost 现仅统计到消费端下行链路的丢包,不再把发送端上行丢包计入。
LiveKit Agents 1.8.5 新增粘性 LLM 回退路由,并加入 Boson Avatar 插件与 AWS Nova Sonic 2.5 支持。该版本还修复了 Google Vertex AI 工具响应携带调用 ID、OpenAI 实时重连时重放函数调用及输出、ElevenLabs WebSocket 预热等问题,并更新 pyjwt 至 v2.15.0。
Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。
推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。
Cloudflare Realtime(原 Calls)平台宣布 SFU WebSocket 适配器正式商用(GA),为基于 WebSocket 的实时应用接入 Realtime SFU 提供正式支持。
推荐理由:Cloudflare Realtime 平台的正式化节点之一,Calls 产品演进的延续。
Firefox 157 于 2026 年 9 月 28 日发布,WebRTC 视频通话首次支持在兼容设备上使用硬件 AV1 解码(此前一直软件解码),同时包含 HDR 视频修复与播放变速时的音视频同步改进;对视频通话客户端意味着解码 CPU 占用路径需要重新测试。
Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。
推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。
Pion WebRTC 发布 v4.2.22,将 TCP mux 写缓冲设为 4 MB,并处理了媒体方向被省略的情况。该版本自上一版以来共合并 16 个提交到 main 分支。
Safari Technology Preview 253 面向 macOS Golden Gate 和 macOS Tahoe 开放下载,包含 WebKit 320113@main 至 321067@main 之间的改动。本次更新新增样式来源滚动时间线全局匹配、东亚计数样式扩展数值范围、CSSContainerRule.conditions 及容器查询条件中使用 sibling-index() 和 sibling-count() 等支持,并修复了 VoiceOver 朗读 aria-keyshortcuts、动画时间线与网格布局等多项问题。
YouTube 在 Made on YouTube 2026 活动中宣布一批直播工具更新,聚焦粉丝赞助与自动配音等方向,延续其在直播互动与多语言能力上的投入。
推荐理由:YouTube 年度创作者大会的直播相关产品发布,代表其直播产品路线。
TEN Framework 发布 0.11.73,新增 ASR 的 rtzr 流式扩展和 TTS 评审技能,并支持日志配置热重载。该版本还移除了 Cartesia TTS 的默认 output_format,修复了 codex_base_url、覆盖率 LLVM 工具链与 Rust nightly 对齐等问题。
LiveKit 发布 Private Links,让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源,无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关,再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC,仅支持基于 TCP 且完成 TLS 协商的连接,不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域,每个项目每区域限 3 条,价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由:面向受监管行业的企业,说明如何在不暴露公网的前提下让托管 Agent 访问内网资源,并给出 AWS 与 Azure 的接入步骤。
Tavus 为 PALs 推出长期记忆功能 Memories,按每段 PAL 与用户的关系维护独立的记忆存储,包含描述用户偏好与目标的 Profile 和记录对话事件的 Timeline。该设计将实时对话所需的持续关系上下文与按需历史检索分离,避免每次响应前增加搜索步骤;记忆内容可查看、纠正和删除。
Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本,官方定位为三年来在自然度上最大的一次跨越:在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上,把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述,说明该版本对实时对话中临场感(presence)的改进。
推荐理由:实时数字人方向的旗舰产品迭代,直接关系到 Conversational Video Interface 的对话自然度。
Zoom Contact Center 的 RTMS 支持管理员通过 API 手动控制流,可执行 start、stop、pause、resume 四种操作。使用需管理员权限与 RTMS 许可证,应用需添加 contact_center_rtms:write:admin 权限范围,并在集成设置中关闭 auto 开关。调用时以 PUT 请求携带活跃 engagement ID 和已授权应用的 client ID,可程序化或按流程事件触发。
TEN Framework 发布 0.11.72,新增讯飞(iFLYTEK)ASR 扩展并支持嵌套参数,同时为腾讯 ASR 的厂商元数据加入 appid。该版本修复了字节跳动 ASR 的厂商代码字符串化、Smallest 消息循环退出后重连、Fish Audio TTS 刷新等问题,并将字节跳动 ASR 版本升至 0.5.5、Deepgram ASR 升至 0.5.2。
LiveKit 推出 Startup Program,为符合条件的早期创业公司提供约 23,000 美元总价值额度,包括 7,000 美元推理额度(覆盖 7 家合作方)、10,000 美元 LiveKit Cloud 额度和一年 Scale 计划(原价 500 美元/月)。所有模型通过 LiveKit Inference 调用,无需单独账号或 API key,且默认启用零数据留存。申请者须员工少于 50 人、融资低于 500 万美元,并将语音、视频或物理 AI 作为产品核心。
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe:3.8 Live 为原生语音到语音模型,支持异步函数调用(后台执行工具调用同时继续流式输出音频)、视觉上下文与 97+ 语言;3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一;3.5 Transcribe 覆盖 85+ 语言,官方给出平均 WER 4.0%(流式)与 2.6%(非流式)。
推荐理由:实时语音链路上游模型的关键更新,直接影响语音 Agent 与实时转写方案的选型。
Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。
推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。
TRTC SDK 13.5(2026 年 9 月 10 日发布)优化低信噪比下 AI 降噪与近端信号可懂度、修复 KTV 场景 AIEC 首尾字抑制问题,并适配鸿蒙折叠屏前置摄像头切换等;页面同时保留 13.0 以来 AI 实时转录与翻译、音频水印等版本记录。
推荐理由:TRTC 近一年的版本演进轨迹(AI 转录、音频水印、鸿蒙适配)集中体现在发布日志中。
声网发布智能门锁/门铃场景方案,针对电池供电门锁给出量产指标:出图速度小于1秒、全球通话延迟小于400毫秒,SDK增量体积控制在400KB以内、运行时内存占用仅1.2MB。远程开锁走独立实时信令通道,全球端到端延迟低于100毫秒(99分位值),70%丢包下仍保证送达。
speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。
Zoom 发布开源 Web 远程医疗入门套件,基于 Zoom Video SDK 构建,覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript,代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证,未经独立安全与合规审查不得用于受保护健康信息。
LiveKit 推出非生产部署,让语音 Agent 以不同名称与生产环境并行运行,共用同一容器镜像、项目和密钥,创建只需一条命令。非生产部署空闲时休眠且不计费,但重新部署会立即中断活跃会话,且不支持回滚;需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。
LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。
mediasoup-client 3.23.0 移除 transport.produce() 的 headerExtensionOptions,改为 Device 层 forcedRtpExtensions 按扩展 URI 强制开/关;该能力目前仅最新 Chrome 支持 WebRTC RTP Extension Control API,并修复了 Canary 149 中 abs-capture-time 引发的 codec collision 报错。
推荐理由:浏览器 RTP 扩展控制能力落地到主流 SFU 客户端库,影响采集时间同步等特性接入方式。
LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费,最低按 10 秒计费,适用于所有套餐与账户(含企业合同),无需技术改动。该调整已对现有客户生效,8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展,按秒计费可消除这种定价错配。
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room,摄像头、模型、操作员和下游服务各作为一个参与者加入,无需重新设计传输架构。在跨网络的人机协同录制场景中,机器人观测可同时分发给策略、操作员和录制端,策略动作与人工干预各自独立回传,避免额外网络跳数。VLM 可作为任务级编排者,各技能策略以独立参与者订阅所需观测,奖励模型则按控制频率评估执行状态并驱动策略升级。
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。
LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。
推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。
LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。
推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。
Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。
推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。
Tavus 宣布 PAL 可像邀请同事一样加入 Google Meet:开摄像头、跟随对话并实时应答,可做会议记录、随行销售通话或主持站会;官方称 Zoom 与 Microsoft Teams 支持为下一步。
推荐理由:AI 视频智能体深度嵌入主流视频会议平台,是行业级产品动作。