xAI 携手 LiveKit 推出 Grok Voice Agent API，语音到语音模型对外开放
xAI 与 LiveKit 合作推出 Grok Voice Agent API，将驱动 Grok 的语音到语音模型开放给开发者，Grok 已通过第一方应用和特斯拉车辆服务全球数百万用户。
推荐理由：头部模型厂商与实时基础设施厂商深度绑定的标志性合作。
全部音视频动态
LiveKit Blog精选评分6666
WebKit Blog精选评分5858 Safari 26.2 开放 WebRTC RTP 头部扩展参数接口
WebKit 在 Safari 26.2 提供 RTCRtpHeaderExtensionParameters 接口用于描述媒体流使用的 RTP 头部扩展，使音频电平、视频方向、时序与应用自定义数据等元数据可与已加密的媒体负载分开控制，让开发者更细粒度地决定哪些元数据对网络中间设备可见；同版本还修复了 HDR 图像在 CSS 背景、边框与 SVG 中的解码渲染，以及 WebRTC 摄像头指示灯不熄灭等问题。
推荐理由：RTP 头部扩展接口关系 WebRTC 元数据与端到端加密边界，属标准化进展。
声网博客评分5252 声网讲解 QUIC 协议：0-RTT 建连、多路复用与连接迁移
按 RFC 9000 梳理 QUIC 设计：1-RTT 首次握手、0-RTT 重连，基于 Connection ID 的连接迁移使 Wi-Fi 与 5G 切换无需重建会话，单调递增包编号消除重传模糊，连接级与流级双层流控；并分析其在 IM 长连接中的收益与 BBR 等可插拔拥塞控制对弱网的表现。
声网博客评分2222 Oopz 降噪游戏语音背后的声网对话式 AI“黑科技”
声网与游戏语音平台 Oopz 合作，将基于判别式 AI 的降噪技术融入游戏开黑场景，可识别并抑制稳态与非稳态噪音，覆盖十四大场景上百种噪音，并在端侧完成运算。该方案在低信噪比下保持人声清晰，配合去混响无啸叫技术解决多设备连麦的回声与啸叫问题。
Cartesia Blog评分1212 Cartesia 文本转语音平台通过 GDPR 合规认证
Cartesia 的文本转语音平台已实现 GDPR 合规，满足欧盟对合法数据处理、数据主体权利和安全措施的严格要求。该合规建立在其已有的 SOC 2 Type II、PCI-DSS（服务级提供商）、HIPAA 及可选零数据保留等安全基础之上。
Cartesia Blog精选评分5555 Cartesia 发布语音智能体开发平台 Line
Cartesia 发布语音智能体开发平台 Line，面向开发者提供代码优先的构建方式，可从文本提示或模板在数分钟内创建首个智能体，并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话，保存音频与转写文本，报告延迟等系统指标并提供日志，支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署，企业版可完全本地部署并对模型微调。
推荐理由：Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台，并说明与 Sonic、Ink 模型的协同方式。
Cartesia Blog精选评分5050 Cartesia 发布 H-Nets 分层网络研究，直接从原始数据学习
Cartesia 公布分层网络 H-Nets 研究，其动态分块机制把原始数据切分并压缩为更高层概念，由编码器、主网络和解码器三部分组成。在语言建模上，H-Nets 直接从原始字节学习，数据扩展性优于使用 BPE 分词的 Transformer，在中文、代码和 DNA 等无自然分词边界的领域提升更明显，并可堆叠学习更深层级，对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由：原文给出 H-Net 在语言建模上的三项结果与架构设计，可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia Blog精选评分7171 Cartesia 发布流式语音转文字模型 Ink-Whisper
Cartesia 推出流式语音转文字（STT）模型系列 Ink，首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造，面向实时语音应用。官方称其采用动态分块处理变长音频片段，在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上，词错误率优于 whisper-large-v3-turbo 基线；在停止说话后完成转写的时间（TTCT）中位数为 66ms、P90 为 98ms，并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit，Scale 套餐下约 $0.13/hr，可集成 Vapi、Pipecat 和 LiveKit。
推荐理由：Cartesia 发布流式语音转文字模型 Ink-Whisper，给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据，可据此判断实时语音场景的选型。
Cartesia Blog评分2222 Cartesia 推出 Organizations 与 Dashboards，面向规模化语音 AI 开发者
Cartesia 为规模化语音 AI 开发者推出 Organizations 与 Dashboards 两项功能。Organizations 让团队共享 API 密钥、自定义音色与集中计费，席位不限，已在 Startup+ 套餐开放；Dashboards 面向所有成员提供额度、并发与 WebSocket 连接的实时可见性，其中并发和连接监控自 5 月 20 日起可用。
Cartesia Blog评分4040 Cartesia 推出基于 Sonic 的专业语音克隆（PVC），Startup+ 套餐可自助使用
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆（PVC），可复刻音色、语调、风格与环境，现已登陆 Startup 及以上套餐并支持自助开通。训练免费，生成按每字符 1 credit 计费，与即时语音克隆相同；支持 15 种语言，可通过 Playground UI 和 API 使用。
Cartesia Blog评分2222 Cartesia 发布 Python SDK v2.0.0，优化 AI 语音开发体验
Cartesia 发布 Python SDK v2.0.0，围绕统一的 Cartesia 客户端重构，支持异步调用、流式响应和 WebSocket 实时低延迟语音应用。SDK 内置 4xx/5xx 异常处理、指数退避自动重试，默认超时 60 秒，并允许覆盖 httpx 客户端以支持代理等场景。
Cartesia Blog评分3636 Cartesia 获 Kleiner Perkins 领投 6400 万美元 A 轮融资，发布语音生成模型 Sonic 2.0
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资，并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快，全模型延迟 90ms、turbo 模式 40ms，在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍，同时新增变声与音频填充两个接口。
Cartesia Blog评分2929 如何用 Cartesia API 构建语音 AI 智能体：从架构到生产部署的分步指南
用 Cartesia API 和 Sonic 模型可在 Python 中搭建语音 AI 智能体，流程为语音识别转文本、LLM 生成回复、再由 Sonic 合成自然语音。教程要求准备 Cartesia 账号、API key 并安装 FFmpeg，语音识别可选用 Whisper、Deepgram 等服务，也可借助 LiveKit、VAPI 或 RASA 平台快速起步。
Cartesia Blog评分2222 Cartesia 发布 2024 年语音 AI 现状报告：梳理三大趋势并展望 2025
Cartesia 首份《2024 年语音 AI 现状报告》梳理出三大趋势：编排式 STT→LLM→TTS 语音系统与端到端语音到语音模型兴起，Kyutai 的 Moshi 等全双工模型实现"边听边说"；STT、LLM、TTS 三环节成熟推动语音 AI 进入企业级自然对话，LLM 成本从 GPT-4 的 45 美元/百万 token 降至 Llama 3.1 70B 的 2.75 美元/百万 token；LiveKit、Daily 及 Vapi 等编排平台将原本 6-12 个月的开发周期缩短至数周。
Cartesia Blog评分3636 Cartesia 宣布 2700 万美元种子轮融资，由 Index Ventures 领投
Cartesia 宣布完成 2700 万美元种子轮融资，由 Index Ventures 领投，Lightspeed、General Catalyst 等参投。该公司基于 S4、Mamba 等 SSM 架构研发多流模型，已推出超写实语音生成模型 Sonic 并实现端侧部署，新模型在 Sonic Preview 中开放试用，未来几周将通过实时 API 提供。
Cartesia Blog评分1212 Cartesia 十月黑客松回顾：2000 多名开发者基于 Sonic 语音模型打造 50 多个项目
Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松，吸引 2000 多名开发者，围绕其 Sonic 语音模型完成 50 多个项目，并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向，其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。
Cartesia Blog评分4040 Cartesia 发布 Voice Changer：保留原始语气与情感的音色转换模型
Cartesia 推出 Voice Changer，可将任意音频片段转换为目标音色，同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择，或克隆自己的声音，并精确控制情感与节奏；该模型基于 S4、Mamba 等状态空间模型架构，已在 Cartesia playground 上线。
Cartesia Blog评分4040 Cartesia 在 Sonic Multilingual 上新增 8 种语言 Alpha 版，总支持语言达 15 种
Cartesia 宣布 Sonic Multilingual 新增印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语和土耳其语 8 种语言 Alpha 版，总支持语言数达 15 种。新语言沿用 Sonic 的低延迟、对话质量和语音设计能力，基于其自研的 S4 与 Mamba 状态空间模型（SSM）架构实现实时语音生成。
Cartesia Blog精选评分6060 Cartesia 发布端侧智能更新：开源 SSM 库 Edge、1.3B 模型 Rene 与 Sonic On-Device 内测
Cartesia 发布端侧智能更新，推出开源（Apache 2.0）SSM 库 Edge、1.3B 参数开源语言模型 Rene，以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核，并配套 Python 包 cartesia-mlx；Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构，在 1.5T tokens 的 Dolma-1.7 上训练，推理时内存占用固定，支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音，具备即时克隆与可控发音、语速和情感。
推荐理由：Cartesia 把 SSM 架构落到端侧，同时开源模型与推理库，可据此判断端侧语音与语言模型的可行路径。
Cartesia Blog精选评分6060 Cartesia 发布低延迟语音模型 Sonic，模型延迟 135ms
Cartesia 发布低延迟语音模型 Sonic，用于生成逼真语音，模型延迟为 135ms，官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API，playground 提供面向客服、娱乐和内容创作的语音库，支持即时克隆和语音设计（语速、情感），这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构，并自建推理栈以降低延迟和成本，后续将发布关于新架构的更多细节。
推荐理由：官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈，可据此判断低延迟语音合成的当前水平。
Cartesia Blog精选评分6262 Cartesia 提出 Based 架构：提示处理比 FlashAttention-2 快 56%，生成吞吐高 24 倍
Cartesia 发布论文与博客，提出循环架构 Based，用滑动窗口注意力（窗口 64）加线性注意力（对 exp(QK^T) 做二阶泰勒近似）组合，在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%，文本生成吞吐最高达 FlashAttention-2 的 24 倍；但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由：论文给出召回与显存之间的权衡分析，并说明 Based 如何用滑窗加线性注意力落到该曲线上。