平台与项目
LiveKit 实时音视频基础设施的持续追踪：服务端版本发布、WebRTC 与 SFU 传输、弱网与延迟优化、Agent 语音集成，以及云服务的定价与合规动态。
29 条精选近 30 天 2 条共收录 45 条
LiveKit 给出观察者模式（observer pattern）的完整实现：通过 AgentSession 的 conversation_item_added 事件旁路监听转录，用更强、可更慢的独立 LLM 异步做策略分类，再以 update_chat_ctx 把护栏指令作为系统消息注入主 Agent 上下文，主 Agent 在下一轮生效，全程不阻塞对话；必要时观察者可直接结束通话或接管控制。示例中主会话使用 gpt-4.1-mini、观察者使用 gpt-4.1，并以网约车乘客被司机要求线下现金支付的违规场景演示分类与响应分离。文章还列出三项工程细节：同一违规类型每会话最多注入一次、并发保护确保同时只跑一次评估且不丢用户轮次、以及 JSON 解析失败的兜底。
推荐理由：把安全策略与对话模型解耦的可复用工程模式，直接缓解复杂护栏挤占对话能力的问题。
LiveKit 推出 Agent Console 实时调试界面，可在一个面板中查看语音 Agent 的时延、工具调用、SIP 参与者、打断、RPC 与转写文本等状态。
推荐理由：语音 Agent 可观测性工具的迭代，开发调试体验的重要补充。
LiveKit 系统梳理语音 AI 方案中各环节的潜在时延来源，并说明应优先处理哪些部分，是官方给出的时延优化方法论。
推荐理由：语音 Agent 时延优化的官方框架性指南，工程参考价值高。
LiveKit 开源 livekit-wakeword，支持一条命令从零训练自定义唤醒词模型，官方称误报较 openWakeWord 低 100 倍，并提供 ONNX 与 Home Assistant 兼容。
推荐理由：端侧唤醒词开源工具的实用更新，对语音 Agent 前端链路有价值。
data tracks 把任意二进制帧接入 LiveKit 的 track 基础设施，面向遥操作、传感器与遥测场景：SFU 按订阅选择性转发，走无序丢失容忍的 WebRTC data channel，采用 12 字节自定义 RTP 风格包头以吃满 MTU，房间内并发轨道理论上限 65,535；已支持 JS、Rust、Python、C++、Unity SDK。
推荐理由：把 RTC 的选择性转发能力扩展到非音视频数据，对机器人与遥操作类实时应用是实用的能力更新。
LiveKit 介绍 subagent delegation（又称 talker-reasoner、快脑慢脑）模式：每个会话轮次由延迟优化的主 Agent（示例用 google/gemma-4-31b-it）处理，需要多步推理或慢工具的任务交给后台推理模型（示例用 google/gemini-3.1-pro），两者仅通过一个异步工具连接——主 Agent 调用后首次进度更新即释放对话，可继续应答或追问，子 Agent 结果在空闲时以追加回复返回，且会话历史不进入子 Agent 以保持轮次成本低。文章同时给出不适用情形：答案需先核实（价格、医疗建议）、单个快模型已够用、主 Agent 无事可做只能念填充话术、以及通话普遍短于 30 秒。
推荐理由：面向长耗时推理的语音 Agent 编排模式，给出了可落地的分工与适用边界。
文章指出把原始音频推过 WebSocket 会继承 TCP 的队头阻塞——单包丢失即让接收端停滞数百毫秒，后续音频积压后突发播放，破坏对话节奏；而 WebRTC 为实时媒体设计，在丢包恢复、抖动缓冲与拥塞控制上开箱即有，作者将其定位为“demo 能跑、生产会垮”的架构差异。
推荐理由：从协议特性出发解释语音 Agent 传输层选型，对自建实时链路的团队有直接参考意义。
LiveKit 于 1 月 22 日宣布由 Index Ventures 领投的 1 亿美元 C 轮融资，Salesforce Ventures、Hanabi Capital 及老股东 Altimeter、Redpoint 跟投，估值 10 亿美元；其 Agents 框架月下载超 100 万次，网络每年承载数十亿次语音 Agent 通话，并已与全球电话运营商直连 PSTN；资金将用于扩展面向语音 AI 的算力、存储与网络服务。
推荐理由：实时音视频基础设施公司在语音 Agent 浪潮中的标志性融资，印证 RTC 云服务的价值重估。
xAI 与 LiveKit 合作推出 Grok Voice Agent API，将驱动 Grok 的语音到语音模型开放给开发者，Grok 已通过第一方应用和特斯拉车辆服务全球数百万用户。
推荐理由：头部模型厂商与实时基础设施厂商深度绑定的标志性合作。