LiveKit Agents 发布 2.0.0b1 版本
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
LiveKit Agents 发布 1.8.6,新增 Nabrah 阿拉伯语 STT 插件和 Sarvam bulbul:v4-flash TTS,并为 Speechify 加入流式 synthesize()、HTTP 连接复用与 prewarm()。该版本还修复了 AWS 实时会话在流重启后中断、OpenAI Responses API 连接预热、实时工具循环 max_tool_steps 未生效等问题,并让 gpt-5.1+ 在 reasoning_effort 为 none 时保留 temperature/top_p。
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑,默认低优先级调度,可在每次 PR 上运行并在失败时返回非零退出码;音频模拟覆盖含背景噪声、打断和附和声的完整音频链路,实时运行且计费更高,适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景,场景以 scenarios.yaml 版本化保存。该功能 10 月内免费,但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS,按正常费率计费。
推荐理由:LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟,并给出文本与音频两种运行方式的成本取舍。
LiveKit Server 发布 v1.13.9,将 v1.13.8 引入并导致 egress 启动失败的行为变更回退到 v1.13.7 及之前的状态。
LiveKit Server 发布 v1.13.8,新增 agent HTTP endpoints 数据平面,并支持将 sender report 的 abs-capture-time 原样透传。该版本还修复了接收端关闭后仍添加 down track、无 dispatch rule 时改为拒绝而非丢弃等问题,并优化了 SFU 转发路径的每包内存分配。
LiveKit Agents 1.8.5 新增粘性 LLM 回退路由,并加入 Boson Avatar 插件与 AWS Nova Sonic 2.5 支持。该版本还修复了 Google Vertex AI 工具响应携带调用 ID、OpenAI 实时重连时重放函数调用及输出、ElevenLabs WebSocket 预热等问题,并更新 pyjwt 至 v2.15.0。
LiveKit 发布 Private Links,让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源,无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关,再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC,仅支持基于 TCP 且完成 TLS 协商的连接,不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域,每个项目每区域限 3 条,价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由:面向受监管行业的企业,说明如何在不暴露公网的前提下让托管 Agent 访问内网资源,并给出 AWS 与 Azure 的接入步骤。
LiveKit 推出 Startup Program,为符合条件的早期创业公司提供约 23,000 美元总价值额度,包括 7,000 美元推理额度(覆盖 7 家合作方)、10,000 美元 LiveKit Cloud 额度和一年 Scale 计划(原价 500 美元/月)。所有模型通过 LiveKit Inference 调用,无需单独账号或 API key,且默认启用零数据留存。申请者须员工少于 50 人、融资低于 500 万美元,并将语音、视频或物理 AI 作为产品核心。
LiveKit Server 发布 v1.13.7,新增 VP9/AV1 simulcast 支持,并为 udp:// URL 拉流 ingress 加入可选支持。该版本还让 LocalParticipant 新增 GetSubscribedDataTracks,TCP 监听器上的 TURN 开始接受 PROXY protocol,并修复了数据轨道订阅死锁等问题。
Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。
推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。
LiveKit 推出非生产部署,让语音 Agent 以不同名称与生产环境并行运行,共用同一容器镜像、项目和密钥,创建只需一条命令。非生产部署空闲时休眠且不计费,但重新部署会立即中断活跃会话,且不支持回滚;需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。
LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。
LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费,最低按 10 秒计费,适用于所有套餐与账户(含企业合同),无需技术改动。该调整已对现有客户生效,8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展,按秒计费可消除这种定价错配。
LiveKit 为 Agent Observability 新增 PII 脱敏功能,在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息,对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别,转写文本中的词替换为标记,轨迹和日志中的敏感字段直接丢弃;由于词级 ASR 时间戳并非在所有 STT 模型上都可靠,音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII,需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本,数据保留 30 天后自动删除。
推荐理由:LiveKit 用 LLM 按上下文做 PII 脱敏,并说明音频整轮删除的取舍,可据此判断合规方案是否够用。
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room,摄像头、模型、操作员和下游服务各作为一个参与者加入,无需重新设计传输架构。在跨网络的人机协同录制场景中,机器人观测可同时分发给策略、操作员和录制端,策略动作与人工干预各自独立回传,避免额外网络跳数。VLM 可作为任务级编排者,各技能策略以独立参与者订阅所需观测,奖励模型则按控制频率评估执行状态并驱动策略升级。
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。
LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。
推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。
LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。
推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。
Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。
推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。
LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。
推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。
LiveKit 基于自身实时基础设施发布面向机器人的遥操作、数据采集与远程推理生产级方案(LiveKit Portal),延续其在多参与者机器人场景的布局。
推荐理由:实时音视频进入物理 AI/机器人遥操作场景的代表性产品方案。
LiveKit 官方推出 C++ SDK 1.0,为 C++ 应用提供实时音频、视频与数据通道能力,官方定位面向机器人、低延迟 AI 推理和高性能媒体管线场景。
推荐理由:补齐 LiveKit C++ 生态的关键产品更新,直接影响机器人与端侧实时音视频开发。
LiveKit 为外呼语音 Agent 增加答录机检测能力(AMD),自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为,支持自动问候、留言与按键导航。
推荐理由:外呼语音 Agent 落地的关键工程细节,直接影响电话场景接通质量。
LiveKit Inference 正式支持声音克隆:克隆一次后可跨多个 TTS 供应商使用,并在生产环境中提供自动 fallback,为语音 Agent 定制音色。
推荐理由:语音 Agent 音色定制与供应商解耦的实用能力更新。
LiveKit 推出 Agent Console 实时调试界面,可在一个面板中查看语音 Agent 的时延、工具调用、SIP 参与者、打断、RPC 与转写文本等状态。
推荐理由:语音 Agent 可观测性工具的迭代,开发调试体验的重要补充。
LiveKit 开源 livekit-wakeword,支持一条命令从零训练自定义唤醒词模型,官方称误报较 openWakeWord 低 100 倍,并提供 ONNX 与 Home Assistant 兼容。
推荐理由:端侧唤醒词开源工具的实用更新,对语音 Agent 前端链路有价值。