LiveKit 给出观察者模式（observer pattern）的完整实现：通过 AgentSession 的 conversation_item_added 事件旁路监听转录，用更强、可更慢的独立 LLM 异步做策略分类，再以 update_chat_ctx 把护栏指令作为系统消息注入主 Agent 上下文，主 Agent 在下一轮生效，全程不阻塞对话；必要时观察者可直接结束通话或接管控制。示例中主会话使用 gpt-4.1-mini、观察者使用 gpt-4.1，并以网约车乘客被司机要求线下现金支付的违规场景演示分类与响应分离。文章还列出三项工程细节：同一违规类型每会话最多注入一次、并发保护确保同时只跑一次评估且不丢用户轮次、以及 JSON 解析失败的兜底。
推荐理由：把安全策略与对话模型解耦的可复用工程模式，直接缓解复杂护栏挤占对话能力的问题。
LiveKit 系统梳理语音 AI 方案中各环节的潜在时延来源，并说明应优先处理哪些部分，是官方给出的时延优化方法论。
推荐理由：语音 Agent 时延优化的官方框架性指南，工程参考价值高。
LiveKit 介绍 subagent delegation（又称 talker-reasoner、快脑慢脑）模式：每个会话轮次由延迟优化的主 Agent（示例用 google/gemma-4-31b-it）处理，需要多步推理或慢工具的任务交给后台推理模型（示例用 google/gemini-3.1-pro），两者仅通过一个异步工具连接——主 Agent 调用后首次进度更新即释放对话，可继续应答或追问，子 Agent 结果在空闲时以追加回复返回，且会话历史不进入子 Agent 以保持轮次成本低。文章同时给出不适用情形：答案需先核实（价格、医疗建议）、单个快模型已够用、主 Agent 无事可做只能念填充话术、以及通话普遍短于 30 秒。
推荐理由：面向长耗时推理的语音 Agent 编排模式，给出了可落地的分工与适用边界。
Gemini 3.1 Flash Live 通过 Gemini Live API 在 Google AI Studio 开放预览，官方宣称较 2.5 Flash Native Audio 在延迟、可靠性与自然度上有台阶式提升：嘈杂环境下工具触发更稳、复杂系统指令遵循更强、可识别音高语速等声学细节，实时多模态对话支持 90+ 语言。
推荐理由：Gemini 实时语音模型代际更新，是语音 Agent 平台侧最重要的供给变化之一。
Tavus 发布 Raven-1 多模态感知系统，将音频、视觉与时间动态统一处理并实时对齐，通过语调、表情、迟疑和语境判断用户真实意图，而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题，主张情绪是连续且分层的，无法归入固定类别。
Pipecat 团队发布面向实时语音智能体的 STT 基准，在 1000 条真实人类语音样本上测试 10 家 STT 服务，同时衡量转写延迟（TTFS）与语义准确率。中位延迟上 Deepgram Nova 3（247ms，1.62% WER）、Soniox（249ms，1.29% WER）、Speechmatics（495ms，1.07% WER）位于帕累托前沿。基准用 Claude 做语义 WER 评估，只统计会导致 LLM 理解不同的错误，并强调 P95 延迟与 finalization 支持比中位数更影响对话体验；代码已在 GitHub 开源，Pipecat 0.0.102 起可设置 ttfs_p99_latency 参数。
推荐理由：Pipecat 团队用 1000 条真实语音对比 10 家 STT 服务的延迟与语义准确率，并给出可自行复现的基准工具。
Daily.co 在 NVIDIA DGX Spark 上完成了开源 Smart Turn 语音轮次检测模型的训练，耗时约 61 分钟，与 NVIDIA L4 的 79 分钟和 RTX 5060 Ti 的 53 分钟大致相当。借助 128GB 统一内存，训练批次大小可设为 2000，但需改用 Arm 版依赖并启用 torchcodec 的 aarch64 nightly 构建。
Daily 发布语音智能体基准 aiwf_medium_context，测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用，源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%，但都太慢，无法满足语音智能体所需的 1500ms 以内语音到语音响应（约对应文本模型 700ms TTFT）；生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash，AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出，GPT Realtime 通过率为 86.7%，低于 GPT-4.1 的 94.9%。
推荐理由：Daily 公开语音智能体基准的源码与结果，可看到长多轮对话下模型能力与延迟之间的取舍。
LiveKit 于 1 月 22 日宣布由 Index Ventures 领投的 1 亿美元 C 轮融资，Salesforce Ventures、Hanabi Capital 及老股东 Altimeter、Redpoint 跟投，估值 10 亿美元；其 Agents 框架月下载超 100 万次，网络每年承载数十亿次语音 Agent 通话，并已与全球电话运营商直连 PSTN；资金将用于扩展面向语音 AI 的算力、存储与网络服务。
推荐理由：实时音视频基础设施公司在语音 Agent 浪潮中的标志性融资，印证 RTC 云服务的价值重估。
xAI 与 LiveKit 合作推出 Grok Voice Agent API，将驱动 Grok 的语音到语音模型开放给开发者，Grok 已通过第一方应用和特斯拉车辆服务全球数百万用户。
推荐理由：头部模型厂商与实时基础设施厂商深度绑定的标志性合作。
Cartesia 发布语音智能体开发平台 Line，面向开发者提供代码优先的构建方式，可从文本提示或模板在数分钟内创建首个智能体，并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话，保存音频与转写文本，报告延迟等系统指标并提供日志，支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署，企业版可完全本地部署并对模型微调。
推荐理由：Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台，并说明与 Sonic、Ink 模型的协同方式。
Cartesia 推出流式语音转文字（STT）模型系列 Ink，首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造，面向实时语音应用。官方称其采用动态分块处理变长音频片段，在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上，词错误率优于 whisper-large-v3-turbo 基线；在停止说话后完成转写的时间（TTCT）中位数为 66ms、P90 为 98ms，并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit，Scale 套餐下约 $0.13/hr，可集成 Vapi、Pipecat 和 LiveKit。
推荐理由：Cartesia 发布流式语音转文字模型 Ink-Whisper，给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据，可据此判断实时语音场景的选型。
Cartesia 为规模化语音 AI 开发者推出 Organizations 与 Dashboards 两项功能。Organizations 让团队共享 API 密钥、自定义音色与集中计费，席位不限，已在 Startup+ 套餐开放；Dashboards 面向所有成员提供额度、并发与 WebSocket 连接的实时可见性，其中并发和连接监控自 5 月 20 日起可用。
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆（PVC），可复刻音色、语调、风格与环境，现已登陆 Startup 及以上套餐并支持自助开通。训练免费，生成按每字符 1 credit 计费，与即时语音克隆相同；支持 15 种语言，可通过 Playground UI 和 API 使用。
Cartesia 发布 Python SDK v2.0.0，围绕统一的 Cartesia 客户端重构，支持异步调用、流式响应和 WebSocket 实时低延迟语音应用。SDK 内置 4xx/5xx 异常处理、指数退避自动重试，默认超时 60 秒，并允许覆盖 httpx 客户端以支持代理等场景。
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资，并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快，全模型延迟 90ms、turbo 模式 40ms，在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍，同时新增变声与音频填充两个接口。
用 Cartesia API 和 Sonic 模型可在 Python 中搭建语音 AI 智能体，流程为语音识别转文本、LLM 生成回复、再由 Sonic 合成自然语音。教程要求准备 Cartesia 账号、API key 并安装 FFmpeg，语音识别可选用 Whisper、Deepgram 等服务，也可借助 LiveKit、VAPI 或 RASA 平台快速起步。
Cartesia 首份《2024 年语音 AI 现状报告》梳理出三大趋势：编排式 STT→LLM→TTS 语音系统与端到端语音到语音模型兴起，Kyutai 的 Moshi 等全双工模型实现"边听边说"；STT、LLM、TTS 三环节成熟推动语音 AI 进入企业级自然对话，LLM 成本从 GPT-4 的 45 美元/百万 token 降至 Llama 3.1 70B 的 2.75 美元/百万 token；LiveKit、Daily 及 Vapi 等编排平台将原本 6-12 个月的开发周期缩短至数周。
Cartesia 宣布完成 2700 万美元种子轮融资，由 Index Ventures 领投，Lightspeed、General Catalyst 等参投。该公司基于 S4、Mamba 等 SSM 架构研发多流模型，已推出超写实语音生成模型 Sonic 并实现端侧部署，新模型在 Sonic Preview 中开放试用，未来几周将通过实时 API 提供。
Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松，吸引 2000 多名开发者，围绕其 Sonic 语音模型完成 50 多个项目，并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向，其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。
Cartesia 宣布 Sonic Multilingual 新增印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语和土耳其语 8 种语言 Alpha 版，总支持语言数达 15 种。新语言沿用 Sonic 的低延迟、对话质量和语音设计能力，基于其自研的 S4 与 Mamba 状态空间模型（SSM）架构实现实时语音生成。
Cartesia 发布端侧智能更新，推出开源（Apache 2.0）SSM 库 Edge、1.3B 参数开源语言模型 Rene，以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核，并配套 Python 包 cartesia-mlx；Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构，在 1.5T tokens 的 Dolma-1.7 上训练，推理时内存占用固定，支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音，具备即时克隆与可控发音、语速和情感。
推荐理由：Cartesia 把 SSM 架构落到端侧，同时开源模型与推理库，可据此判断端侧语音与语言模型的可行路径。
Cartesia 发布低延迟语音模型 Sonic，用于生成逼真语音，模型延迟为 135ms，官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API，playground 提供面向客服、娱乐和内容创作的语音库，支持即时克隆和语音设计（语速、情感），这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构，并自建推理栈以降低延迟和成本，后续将发布关于新架构的更多细节。
推荐理由：官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈，可据此判断低延迟语音合成的当前水平。