LiveKit Egress 故障排查指南:常见错误、状态码与自托管问题
LiveKit 发布 Egress 故障排查指南,梳理了录制失败的常见错误与对应状态码,包括未收到开始信号(412)、页面加载错误(400)、参与者或轨道未找到(404)、上传失败(400)、流水线冻结(500)和超时(408)等。Egress 以 EGRESS 类型参与者加入房间并只订阅所需轨道,凭证需在录制期间保持有效,S3 的 AssumeRole 仅限特定套餐。
LiveKit 发布 Egress 故障排查指南,梳理了录制失败的常见错误与对应状态码,包括未收到开始信号(412)、页面加载错误(400)、参与者或轨道未找到(404)、上传失败(400)、流水线冻结(500)和超时(408)等。Egress 以 EGRESS 类型参与者加入房间并只订阅所需轨道,凭证需在录制期间保持有效,S3 的 AssumeRole 仅限特定套餐。
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
LiveKit Agents 发布 1.8.6,新增 Nabrah 阿拉伯语 STT 插件和 Sarvam bulbul:v4-flash TTS,并为 Speechify 加入流式 synthesize()、HTTP 连接复用与 prewarm()。该版本还修复了 AWS 实时会话在流重启后中断、OpenAI Responses API 连接预热、实时工具循环 max_tool_steps 未生效等问题,并让 gpt-5.1+ 在 reasoning_effort 为 none 时保留 temperature/top_p。
Serve AI 将其电话智能体从 Retell 的对话流程图迁移到 LiveKit 单提示词架构,用 Agent Simulations 跑约一百通真实生产通话,迭代十到十五次后达到 98% 通过率、中位轮次延迟 1.3 秒(上限 1.5 秒)才切换流量。首个账号迁移耗时一周且未回滚,上线后问题拦截率提升 15%,Serve 估算该客户每年再省 32 万美元。
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑,默认低优先级调度,可在每次 PR 上运行并在失败时返回非零退出码;音频模拟覆盖含背景噪声、打断和附和声的完整音频链路,实时运行且计费更高,适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景,场景以 scenarios.yaml 版本化保存。该功能 10 月内免费,但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS,按正常费率计费。
推荐理由:LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟,并给出文本与音频两种运行方式的成本取舍。
LiveKit Server 发布 v1.13.9,将 v1.13.8 引入并导致 egress 启动失败的行为变更回退到 v1.13.7 及之前的状态。
LiveKit Server 发布 v1.13.8,新增 agent HTTP endpoints 数据平面,并支持将 sender report 的 abs-capture-time 原样透传。该版本还修复了接收端关闭后仍添加 down track、无 dispatch rule 时改为拒绝而非丢弃等问题,并优化了 SFU 转发路径的每包内存分配。
LiveKit Agents 1.8.5 新增粘性 LLM 回退路由,并加入 Boson Avatar 插件与 AWS Nova Sonic 2.5 支持。该版本还修复了 Google Vertex AI 工具响应携带调用 ID、OpenAI 实时重连时重放函数调用及输出、ElevenLabs WebSocket 预热等问题,并更新 pyjwt 至 v2.15.0。
LiveKit 从四个工程问题对比 Retell、Vapi 与 LiveKit 三款语音 AI 智能体平台:上线后由谁迭代、需求超出默认配置时如何改动、是否需支持电话之外的 Web、移动、视频与 WhatsApp 等渠道,以及规模化成本。三者每分钟全包成本估算分别约为 $0.070–$0.310、$0.070–$0.116 和 $0.037–$0.099,仅 LiveKit 支持 Apache 2.0 开源与自托管。
LiveKit 发布 Private Links,让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源,无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关,再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC,仅支持基于 TCP 且完成 TLS 协商的连接,不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域,每个项目每区域限 3 条,价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由:面向受监管行业的企业,说明如何在不暴露公网的前提下让托管 Agent 访问内网资源,并给出 AWS 与 Azure 的接入步骤。
LiveKit Agents 与 Pipecat 是构建生产级实时语音和视频 AI Agent 的两个主流开源框架,前者基于 LiveKit 自有的开源 WebRTC 和 SIP 服务器、对 Agent 做较高层抽象,后者不预设传输层、对处理链路做较低层抽象。两者都支持语音转文本→语言模型→文本转语音的核心链路及端到端语音模型,但 LiveKit Agents 放弃传输层选择与阶段增删,换取分发、扩展和多方会话的现成支持;Pipecat 则需自行接入传输并逐级组装链路。
LiveKit 推出 Startup Program,为符合条件的早期创业公司提供约 23,000 美元总价值额度,包括 7,000 美元推理额度(覆盖 7 家合作方)、10,000 美元 LiveKit Cloud 额度和一年 Scale 计划(原价 500 美元/月)。所有模型通过 LiveKit Inference 调用,无需单独账号或 API key,且默认启用零数据留存。申请者须员工少于 50 人、融资低于 500 万美元,并将语音、视频或物理 AI 作为产品核心。
按 GitHub 星标排名,Jitsi Meet 以 29,875 星领先,LiveKit 20,731 星、Pion 16,759 星紧随其后,数据取自 2026 年 9 月。若改按活跃度排序,榜单会重排:mediasoup 星标仅列第五,但近 52 周提交 541 次,远高于 Janus 的 66 次。作者强调没有唯一最优选择,会议场景选 Jitsi,可编程后端选 LiveKit,嵌入式项目选 Pion,大规模自建选 mediasoup。
LiveKit Server 发布 v1.13.7,新增 VP9/AV1 simulcast 支持,并为 udp:// URL 拉流 ingress 加入可选支持。该版本还让 LocalParticipant 新增 GetSubscribedDataTracks,TCP 监听器上的 TURN 开始接受 PROXY protocol,并修复了数据轨道订阅死锁等问题。
Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。
推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。
LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关,指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms,警告中的延迟表示 VAD 落后实时音频的程度,Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码,再检查 CPU 负载,可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞;不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。
推荐理由:LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序,可对照日志中的延迟数值定位是 CPU 还是事件循环问题。
LiveKit 推出非生产部署,让语音 Agent 以不同名称与生产环境并行运行,共用同一容器镜像、项目和密钥,创建只需一条命令。非生产部署空闲时休眠且不计费,但重新部署会立即中断活跃会话,且不支持回滚;需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。
LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。
LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因,指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足,中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因,并给出对应做法,包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器,以及用自适应打断处理识别 backchannel。
推荐理由:LiveKit 官方梳理短语音回合检测失败的常见成因,并给出可逐项排查的配置与恢复手段。
LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费,最低按 10 秒计费,适用于所有套餐与账户(含企业合同),无需技术改动。该调整已对现有客户生效,8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展,按秒计费可消除这种定价错配。
LiveKit 为 Agent Observability 新增 PII 脱敏功能,在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息,对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别,转写文本中的词替换为标记,轨迹和日志中的敏感字段直接丢弃;由于词级 ASR 时间戳并非在所有 STT 模型上都可靠,音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII,需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本,数据保留 30 天后自动删除。
推荐理由:LiveKit 用 LLM 按上下文做 PII 脱敏,并说明音频整轮删除的取舍,可据此判断合规方案是否够用。
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room,摄像头、模型、操作员和下游服务各作为一个参与者加入,无需重新设计传输架构。在跨网络的人机协同录制场景中,机器人观测可同时分发给策略、操作员和录制端,策略动作与人工干预各自独立回传,避免额外网络跳数。VLM 可作为任务级编排者,各技能策略以独立参与者订阅所需观测,奖励模型则按控制频率评估执行状态并驱动策略升级。
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。
LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。
推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。
LiveKit 官方文章聚焦 agent 加入延迟,即后端请求 agent 到 agent 就绪进入房间的时间,并指出用户侧表现为持续响铃、静音、头像黑屏、客户端超时或提前离开。文章列出常见原因:LiveKit Cloud 上 Build 计划会缩容到零导致冷启动,自托管需维护预热进程池并调整 num_idle_processes,入口点阻塞代码和过大的容器镜像也会拖慢加入,虚拟形象会额外增加一个参会者并处于关键路径上。排查时可记录显式 dispatch 前与 await ctx.connect() 返回后的时间戳,并通过 job metadata 传递 ID 关联两条日志。
推荐理由:LiveKit 官方拆解 agent 加入房间延迟的成因与排查路径,自托管团队可据此定位冷启动和扩容问题。
LiveKit 发布指南,说明 LiveKit Agents 每个任务运行在独立子进程中,由 supervisor 通过事件循环上的 ping/pong 健康检查监控,循环阻塞会导致响应延迟、进程被杀并在约 15 秒内被新实例替换。内置事件循环监控在 Python livekit-agents 1.8.1+ 和 Node.js @livekit/agents 1.9.1+ 默认开启,对 100ms 及以上的停顿告警并给出阻塞代码行,排查可用 py-spy、asyncio debug 模式和 Node.js 事件循环延迟测量。
推荐理由:LiveKit 官方梳理了阻塞事件循环的日志特征与排查手段,可对照自家 Agent 的告警和 trace 定位问题。
LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。
推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。
LiveKit 以酒店前台参考 Agent 为例,讲解如何让语音 Agent 不脱离脚本:先用结构化提示词设定身份与护栏,再用确定性代码强制校验规则,如用 Python 做卡号长度与 Luhn 检查、用 max_tool_steps 限制工具调用链。文章强调提示词防护对蓄意攻击很弱,真正的规则必须在代码层执行。
Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。
推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。
livekit-agents 1.6.0(2026-06-11)起支持异步函数工具:工具是同步的直到它调用 await ctx.update(message),首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值,语音 Agent 因此可以先播报进度、后台继续执行,后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示(验证订单 6 秒 + 出款 8 秒,共约 14 秒静默导致用户挂断),并给出可取消工具(cancelable 标志会向 LLM 暴露取消工具)、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。
推荐理由:针对语音 Agent 工具调用冷场这一高频体验问题,给出可直接复制的框架级实现。
LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。
推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。
LiveKit 梳理降噪在音频链路中的三处落点——Agent 内(服务端处理入站音频,语音 AI 的推荐默认)、客户端 SDK(麦克风侧,支持 Krisp 与 WebRTC noiseSuppression)、SIP 中继(电话场景)——并区分两类增强模型:“背景噪声抑制”只去除非语音噪声、保留所有说话人,适合多说话人/说话人分离;“人声隔离”(BVC)进一步压制竞争人声、只留主说话人,适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上(模型按原始音频训练,二次处理会导致转写准确率下降,但标准 WebRTC 噪声抑制与回声消除可同时开启),并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。
推荐理由:降噪是语音 Agent 转写与话轮检测质量的前置环节,给出了清晰的落点与模型选择规则。
LiveKit 基于自身实时基础设施发布面向机器人的遥操作、数据采集与远程推理生产级方案(LiveKit Portal),延续其在多参与者机器人场景的布局。
推荐理由:实时音视频进入物理 AI/机器人遥操作场景的代表性产品方案。
LiveKit 官方推出 C++ SDK 1.0,为 C++ 应用提供实时音频、视频与数据通道能力,官方定位面向机器人、低延迟 AI 推理和高性能媒体管线场景。
推荐理由:补齐 LiveKit C++ 生态的关键产品更新,直接影响机器人与端侧实时音视频开发。
LiveKit 为外呼语音 Agent 增加答录机检测能力(AMD),自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为,支持自动问候、留言与按键导航。
推荐理由:外呼语音 Agent 落地的关键工程细节,直接影响电话场景接通质量。
LiveKit Inference 正式支持声音克隆:克隆一次后可跨多个 TTS 供应商使用,并在生产环境中提供自动 fallback,为语音 Agent 定制音色。
推荐理由:语音 Agent 音色定制与供应商解耦的实用能力更新。
LiveKit 对照级联管线(STT-LLM-TTS)与实时端到端(S2S)模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异:实时模型在情绪与韵律感知、串行开销上有结构优势,但工具调用准确率与可定制性较弱;管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控,但需要靠流式重叠(部分转写进 LLM、token 边到边进 TTS)才能压到接近实时模型。文章另给出两种混合方案:realtime 模型配独立 STT,以及半级联(realtime 只出文本、由独立 TTS 出声)。并指出电话网络为 8kHz G.711 音频,而实时模型多按 16–48kHz WebRTC 音频训练,呼叫中心场景管线通常更可靠。
推荐理由:语音 Agent 架构选型的系统性对照,覆盖延迟、工具调用与合规等实际决策维度。
LiveKit 给出观察者模式(observer pattern)的完整实现:通过 AgentSession 的 conversation_item_added 事件旁路监听转录,用更强、可更慢的独立 LLM 异步做策略分类,再以 update_chat_ctx 把护栏指令作为系统消息注入主 Agent 上下文,主 Agent 在下一轮生效,全程不阻塞对话;必要时观察者可直接结束通话或接管控制。示例中主会话使用 gpt-4.1-mini、观察者使用 gpt-4.1,并以网约车乘客被司机要求线下现金支付的违规场景演示分类与响应分离。文章还列出三项工程细节:同一违规类型每会话最多注入一次、并发保护确保同时只跑一次评估且不丢用户轮次、以及 JSON 解析失败的兜底。
推荐理由:把安全策略与对话模型解耦的可复用工程模式,直接缓解复杂护栏挤占对话能力的问题。
LiveKit 推出 Agent Console 实时调试界面,可在一个面板中查看语音 Agent 的时延、工具调用、SIP 参与者、打断、RPC 与转写文本等状态。
推荐理由:语音 Agent 可观测性工具的迭代,开发调试体验的重要补充。
LiveKit 系统梳理语音 AI 方案中各环节的潜在时延来源,并说明应优先处理哪些部分,是官方给出的时延优化方法论。
推荐理由:语音 Agent 时延优化的官方框架性指南,工程参考价值高。