LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations，用 LLM 驱动的模拟用户按任务级场景跑完整对话，再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑，默认低优先级调度，可在每次 PR 上运行并在失败时返回非零退出码；音频模拟覆盖含背景噪声、打断和附和声的完整音频链路，实时运行且计费更高，适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景，场景以 scenarios.yaml 版本化保存。该功能 10 月内免费，但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS，按正常费率计费。
推荐理由：LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟，并给出文本与音频两种运行方式的成本取舍。
LiveKit 发布 Private Links，让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源，无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关，再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC，仅支持基于 TCP 且完成 TLS 协商的连接，不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域，每个项目每区域限 3 条，价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由：面向受监管行业的企业，说明如何在不暴露公网的前提下让托管 Agent 访问内网资源，并给出 AWS 与 Azure 的接入步骤。
Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。
推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。
LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关，指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms，警告中的延迟表示 VAD 落后实时音频的程度，Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码，再检查 CPU 负载，可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞；不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。
推荐理由：LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序，可对照日志中的延迟数值定位是 CPU 还是事件循环问题。
LiveKit 发布 Connectors，把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间，无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC（ICE、DTLS-SRTP、Opus），Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布，仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用，计费与 SIP 相同，每分钟 0.004 美元（Ship）和 0.003 美元（Scale）。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有 SIP 方案是否要改。
LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因，指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足，中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因，并给出对应做法，包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器，以及用自适应打断处理识别 backchannel。
推荐理由：LiveKit 官方梳理短语音回合检测失败的常见成因，并给出可逐项排查的配置与恢复手段。
LiveKit 为 Agent Observability 新增 PII 脱敏功能，在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息，对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别，转写文本中的词替换为标记，轨迹和日志中的敏感字段直接丢弃；由于词级 ASR 时间戳并非在所有 STT 模型上都可靠，音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII，需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本，数据保留 30 天后自动删除。
推荐理由：LiveKit 用 LLM 按上下文做 PII 脱敏，并说明音频整轮删除的取舍，可据此判断合规方案是否够用。
LiveKit 在 LiveKit Agents 中发布 expressive mode，用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言，由框架统一转换，并会把多句合并成更大块再送入 TTS，以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型，前端可通过 lk.expression 属性获取情绪信号。
推荐理由：LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记，并给出开启方式与前端联动做法。
LiveKit 官方文章聚焦 agent 加入延迟，即后端请求 agent 到 agent 就绪进入房间的时间，并指出用户侧表现为持续响铃、静音、头像黑屏、客户端超时或提前离开。文章列出常见原因：LiveKit Cloud 上 Build 计划会缩容到零导致冷启动，自托管需维护预热进程池并调整 num_idle_processes，入口点阻塞代码和过大的容器镜像也会拖慢加入，虚拟形象会额外增加一个参会者并处于关键路径上。排查时可记录显式 dispatch 前与 await ctx.connect() 返回后的时间戳，并通过 job metadata 传递 ID 关联两条日志。
推荐理由：LiveKit 官方拆解 agent 加入房间延迟的成因与排查路径，自托管团队可据此定位冷启动和扩容问题。
LiveKit 发布指南，说明 LiveKit Agents 每个任务运行在独立子进程中，由 supervisor 通过事件循环上的 ping/pong 健康检查监控，循环阻塞会导致响应延迟、进程被杀并在约 15 秒内被新实例替换。内置事件循环监控在 Python livekit-agents 1.8.1+ 和 Node.js @livekit/agents 1.9.1+ 默认开启，对 100ms 及以上的停顿告警并给出阻塞代码行，排查可用 py-spy、asyncio debug 模式和 Node.js 事件循环延迟测量。
推荐理由：LiveKit 官方梳理了阻塞事件循环的日志特征与排查手段，可对照自家 Agent 的告警和 trace 定位问题。
LiveKit 正式发布 Unity SDK v2.0.0，将其从开发者预览转为正式版本，并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI，用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权；官方支持 Unity 2022.3 及以上版本，覆盖 macOS、Windows、Linux、iOS 和 Android。
推荐理由：LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐，可据此判断现有 Unity 项目是否迁移。
Cartesia 发布语音转文本模型 Ink-2，面向实时语音代理，称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一，并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s，在 14 种英语口音的 AppTek 基准上 WER 为 8%，内部生产环境基准 WER 为 6.5%，轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线，可通过 API 使用，并接入 LiveKit、Vapi 和 Pipecat，多语言支持尚在开发中。
推荐理由：官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据，可据此判断语音代理的选型取舍。
livekit-agents 1.6.0（2026-06-11）起支持异步函数工具：工具是同步的直到它调用 await ctx.update(message)，首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值，语音 Agent 因此可以先播报进度、后台继续执行，后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示（验证订单 6 秒 + 出款 8 秒，共约 14 秒静默导致用户挂断），并给出可取消工具（cancelable 标志会向 LLM 暴露取消工具）、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。
推荐理由：针对语音 Agent 工具调用冷场这一高频体验问题，给出可直接复制的框架级实现。
LiveKit 发布端到端话轮（end-of-turn）检测模型 v1 与 v1-mini，直接对用户音频推理而不依赖转录，把语义分支（音频编码器+适配器+微调 LLM）与声学分支（时序、韵律）融合为单次判定，因此不再需要等待最终转写、也不依赖历史轮次上下文；同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%（Deepgram Flux 12.9%），600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认，v1-mini 为同一架构的开放权重模型（代码 Apache-2.0），随 Agents SDK 分发（Python 1.6.1 / TypeScript 1.4.7）。
推荐理由：话轮检测是语音 Agent 自然度的核心难点，该版本给出公开基准、多语言实测与默认可用路径。
LiveKit 梳理降噪在音频链路中的三处落点——Agent 内（服务端处理入站音频，语音 AI 的推荐默认）、客户端 SDK（麦克风侧，支持 Krisp 与 WebRTC noiseSuppression）、SIP 中继（电话场景）——并区分两类增强模型：“背景噪声抑制”只去除非语音噪声、保留所有说话人，适合多说话人/说话人分离；“人声隔离”（BVC）进一步压制竞争人声、只留主说话人，适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上（模型按原始音频训练，二次处理会导致转写准确率下降，但标准 WebRTC 噪声抑制与回声消除可同时开启），并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。
推荐理由：降噪是语音 Agent 转写与话轮检测质量的前置环节，给出了清晰的落点与模型选择规则。
LiveKit 基于自身实时基础设施发布面向机器人的遥操作、数据采集与远程推理生产级方案（LiveKit Portal），延续其在多参与者机器人场景的布局。
推荐理由：实时音视频进入物理 AI/机器人遥操作场景的代表性产品方案。
LiveKit 官方推出 C++ SDK 1.0，为 C++ 应用提供实时音频、视频与数据通道能力，官方定位面向机器人、低延迟 AI 推理和高性能媒体管线场景。
推荐理由：补齐 LiveKit C++ 生态的关键产品更新，直接影响机器人与端侧实时音视频开发。
LiveKit 为外呼语音 Agent 增加答录机检测能力（AMD），自动识别接听方是人、语音信箱还是 IVR 菜单并路由到对应行为，支持自动问候、留言与按键导航。
推荐理由：外呼语音 Agent 落地的关键工程细节，直接影响电话场景接通质量。
LiveKit Inference 正式支持声音克隆：克隆一次后可跨多个 TTS 供应商使用，并在生产环境中提供自动 fallback，为语音 Agent 定制音色。
推荐理由：语音 Agent 音色定制与供应商解耦的实用能力更新。
LiveKit 对照级联管线（STT-LLM-TTS）与实时端到端（S2S）模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异：实时模型在情绪与韵律感知、串行开销上有结构优势，但工具调用准确率与可定制性较弱；管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控，但需要靠流式重叠（部分转写进 LLM、token 边到边进 TTS）才能压到接近实时模型。文章另给出两种混合方案：realtime 模型配独立 STT，以及半级联（realtime 只出文本、由独立 TTS 出声）。并指出电话网络为 8kHz G.711 音频，而实时模型多按 16–48kHz WebRTC 音频训练，呼叫中心场景管线通常更可靠。
推荐理由：语音 Agent 架构选型的系统性对照，覆盖延迟、工具调用与合规等实际决策维度。