Cartesia 发布语音智能体开发平台 Line，面向开发者提供代码优先的构建方式，可从文本提示或模板在数分钟内创建首个智能体，并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话，保存音频与转写文本，报告延迟等系统指标并提供日志，支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署，企业版可完全本地部署并对模型微调。
推荐理由：Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台，并说明与 Sonic、Ink 模型的协同方式。
Cartesia 公布分层网络 H-Nets 研究，其动态分块机制把原始数据切分并压缩为更高层概念，由编码器、主网络和解码器三部分组成。在语言建模上，H-Nets 直接从原始字节学习，数据扩展性优于使用 BPE 分词的 Transformer，在中文、代码和 DNA 等无自然分词边界的领域提升更明显，并可堆叠学习更深层级，对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由：原文给出 H-Net 在语言建模上的三项结果与架构设计，可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia 推出流式语音转文字（STT）模型系列 Ink，首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造，面向实时语音应用。官方称其采用动态分块处理变长音频片段，在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上，词错误率优于 whisper-large-v3-turbo 基线；在停止说话后完成转写的时间（TTCT）中位数为 66ms、P90 为 98ms，并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit，Scale 套餐下约 $0.13/hr，可集成 Vapi、Pipecat 和 LiveKit。
推荐理由：Cartesia 发布流式语音转文字模型 Ink-Whisper，给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据，可据此判断实时语音场景的选型。
Cartesia 为规模化语音 AI 开发者推出 Organizations 与 Dashboards 两项功能。Organizations 让团队共享 API 密钥、自定义音色与集中计费，席位不限，已在 Startup+ 套餐开放；Dashboards 面向所有成员提供额度、并发与 WebSocket 连接的实时可见性，其中并发和连接监控自 5 月 20 日起可用。
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆（PVC），可复刻音色、语调、风格与环境，现已登陆 Startup 及以上套餐并支持自助开通。训练免费，生成按每字符 1 credit 计费，与即时语音克隆相同；支持 15 种语言，可通过 Playground UI 和 API 使用。
Cartesia 发布 Python SDK v2.0.0，围绕统一的 Cartesia 客户端重构，支持异步调用、流式响应和 WebSocket 实时低延迟语音应用。SDK 内置 4xx/5xx 异常处理、指数退避自动重试，默认超时 60 秒，并允许覆盖 httpx 客户端以支持代理等场景。
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资，并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快，全模型延迟 90ms、turbo 模式 40ms，在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍，同时新增变声与音频填充两个接口。
用 Cartesia API 和 Sonic 模型可在 Python 中搭建语音 AI 智能体，流程为语音识别转文本、LLM 生成回复、再由 Sonic 合成自然语音。教程要求准备 Cartesia 账号、API key 并安装 FFmpeg，语音识别可选用 Whisper、Deepgram 等服务，也可借助 LiveKit、VAPI 或 RASA 平台快速起步。
Cartesia 首份《2024 年语音 AI 现状报告》梳理出三大趋势：编排式 STT→LLM→TTS 语音系统与端到端语音到语音模型兴起，Kyutai 的 Moshi 等全双工模型实现"边听边说"；STT、LLM、TTS 三环节成熟推动语音 AI 进入企业级自然对话，LLM 成本从 GPT-4 的 45 美元/百万 token 降至 Llama 3.1 70B 的 2.75 美元/百万 token；LiveKit、Daily 及 Vapi 等编排平台将原本 6-12 个月的开发周期缩短至数周。
Cartesia 宣布完成 2700 万美元种子轮融资，由 Index Ventures 领投，Lightspeed、General Catalyst 等参投。该公司基于 S4、Mamba 等 SSM 架构研发多流模型，已推出超写实语音生成模型 Sonic 并实现端侧部署，新模型在 Sonic Preview 中开放试用，未来几周将通过实时 API 提供。
Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松，吸引 2000 多名开发者，围绕其 Sonic 语音模型完成 50 多个项目，并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向，其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。
Cartesia 推出 Voice Changer，可将任意音频片段转换为目标音色，同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择，或克隆自己的声音，并精确控制情感与节奏；该模型基于 S4、Mamba 等状态空间模型架构，已在 Cartesia playground 上线。
Cartesia 宣布 Sonic Multilingual 新增印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语和土耳其语 8 种语言 Alpha 版，总支持语言数达 15 种。新语言沿用 Sonic 的低延迟、对话质量和语音设计能力，基于其自研的 S4 与 Mamba 状态空间模型（SSM）架构实现实时语音生成。
Cartesia 发布端侧智能更新，推出开源（Apache 2.0）SSM 库 Edge、1.3B 参数开源语言模型 Rene，以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核，并配套 Python 包 cartesia-mlx；Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构，在 1.5T tokens 的 Dolma-1.7 上训练，推理时内存占用固定，支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音，具备即时克隆与可控发音、语速和情感。
推荐理由：Cartesia 把 SSM 架构落到端侧，同时开源模型与推理库，可据此判断端侧语音与语言模型的可行路径。
Cartesia 发布低延迟语音模型 Sonic，用于生成逼真语音，模型延迟为 135ms，官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API，playground 提供面向客服、娱乐和内容创作的语音库，支持即时克隆和语音设计（语速、情感），这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构，并自建推理栈以降低延迟和成本，后续将发布关于新架构的更多细节。
推荐理由：官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈，可据此判断低延迟语音合成的当前水平。
Cartesia 发布论文与博客，提出循环架构 Based，用滑动窗口注意力（窗口 64）加线性注意力（对 exp(QK^T) 做二阶泰勒近似）组合，在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%，文本生成吞吐最高达 FlashAttention-2 的 24 倍；但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由：论文给出召回与显存之间的权衡分析，并说明 Based 如何用滑窗加线性注意力落到该曲线上。