Raise Financial Services 正基于 Cartesia 的语音模型开发多语言语音体验，其 Dhan 语音机器人已有超 75% 的交互使用非英语语言，其中印地语占一半以上。Cartesia 的 Sonic 文本转语音模型支持印地语、泰米尔语、泰卢固语、马拉地语等 11 种印度语言，并可在单次生成中切换语言。Raise 将模型部署在自有基础设施内，超三分之一语音机器人来电在非工作时间由 AI 独立处理。
Cartesia 发布 Multilingual Voices，50+ 音色库音色原生支持最多 25 种语言，自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核，检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS，或在仪表盘中为克隆音色最多添加 9 种新口音和语言。
Cartesia 发文分析 TTS 评测为何随模型进步而失效：语音合成是一对多映射，同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法，WER 在可懂度解决后趋于饱和，且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音，这些错误即使语音流畅也难以察觉。
Cartesia 发布语音转文本模型 Ink-2，面向实时语音代理，称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一，并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s，在 14 种英语口音的 AppTek 基准上 WER 为 8%，内部生产环境基准 WER 为 6.5%，轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线，可通过 API 使用，并接入 LiveKit、Vapi 和 Pipecat，多语言支持尚在开发中。
推荐理由：官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据，可据此判断语音代理的选型取舍。
Cartesia 提出按真实用例而非实验室基准选择语音 AI 模型，指出演示中 600–800ms 的往返延迟在真实电话网络上会升至 2–4 秒、P95 达 5 秒。评估 ASR 应看完整转写时间 TTCT 而非首 token 延迟，端到端低于 200ms 对话才自然，超过 1 秒用户会重复发言；轮次检测的精确率与召回率决定打断和响应表现。
Cartesia 发布语音 AI 术语入门指南，梳理构建对话式语音 AI 所需的 20 个关键术语，涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出，打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验，其 Ink-2 STT 模型已将轮次检测内置，无需单独集成 VAD 模型。
Cartesia 的文本转语音平台已实现 GDPR 合规，满足欧盟对合法数据处理、数据主体权利和安全措施的严格要求。该合规建立在其已有的 SOC 2 Type II、PCI-DSS（服务级提供商）、HIPAA 及可选零数据保留等安全基础之上。
Cartesia 发布语音智能体开发平台 Line，面向开发者提供代码优先的构建方式，可从文本提示或模板在数分钟内创建首个智能体，并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话，保存音频与转写文本，报告延迟等系统指标并提供日志，支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署，企业版可完全本地部署并对模型微调。
推荐理由：Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台，并说明与 Sonic、Ink 模型的协同方式。
Cartesia 公布分层网络 H-Nets 研究，其动态分块机制把原始数据切分并压缩为更高层概念，由编码器、主网络和解码器三部分组成。在语言建模上，H-Nets 直接从原始字节学习，数据扩展性优于使用 BPE 分词的 Transformer，在中文、代码和 DNA 等无自然分词边界的领域提升更明显，并可堆叠学习更深层级，对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由：原文给出 H-Net 在语言建模上的三项结果与架构设计，可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia 推出流式语音转文字（STT）模型系列 Ink，首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造，面向实时语音应用。官方称其采用动态分块处理变长音频片段，在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上，词错误率优于 whisper-large-v3-turbo 基线；在停止说话后完成转写的时间（TTCT）中位数为 66ms、P90 为 98ms，并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit，Scale 套餐下约 $0.13/hr，可集成 Vapi、Pipecat 和 LiveKit。
推荐理由：Cartesia 发布流式语音转文字模型 Ink-Whisper，给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据，可据此判断实时语音场景的选型。
Cartesia 为规模化语音 AI 开发者推出 Organizations 与 Dashboards 两项功能。Organizations 让团队共享 API 密钥、自定义音色与集中计费，席位不限，已在 Startup+ 套餐开放；Dashboards 面向所有成员提供额度、并发与 WebSocket 连接的实时可见性，其中并发和连接监控自 5 月 20 日起可用。
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆（PVC），可复刻音色、语调、风格与环境，现已登陆 Startup 及以上套餐并支持自助开通。训练免费，生成按每字符 1 credit 计费，与即时语音克隆相同；支持 15 种语言，可通过 Playground UI 和 API 使用。
Cartesia 发布 Python SDK v2.0.0，围绕统一的 Cartesia 客户端重构，支持异步调用、流式响应和 WebSocket 实时低延迟语音应用。SDK 内置 4xx/5xx 异常处理、指数退避自动重试，默认超时 60 秒，并允许覆盖 httpx 客户端以支持代理等场景。
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资，并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快，全模型延迟 90ms、turbo 模式 40ms，在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍，同时新增变声与音频填充两个接口。
用 Cartesia API 和 Sonic 模型可在 Python 中搭建语音 AI 智能体，流程为语音识别转文本、LLM 生成回复、再由 Sonic 合成自然语音。教程要求准备 Cartesia 账号、API key 并安装 FFmpeg，语音识别可选用 Whisper、Deepgram 等服务，也可借助 LiveKit、VAPI 或 RASA 平台快速起步。
Cartesia 首份《2024 年语音 AI 现状报告》梳理出三大趋势：编排式 STT→LLM→TTS 语音系统与端到端语音到语音模型兴起，Kyutai 的 Moshi 等全双工模型实现"边听边说"；STT、LLM、TTS 三环节成熟推动语音 AI 进入企业级自然对话，LLM 成本从 GPT-4 的 45 美元/百万 token 降至 Llama 3.1 70B 的 2.75 美元/百万 token；LiveKit、Daily 及 Vapi 等编排平台将原本 6-12 个月的开发周期缩短至数周。
Cartesia 宣布完成 2700 万美元种子轮融资，由 Index Ventures 领投，Lightspeed、General Catalyst 等参投。该公司基于 S4、Mamba 等 SSM 架构研发多流模型，已推出超写实语音生成模型 Sonic 并实现端侧部署，新模型在 Sonic Preview 中开放试用，未来几周将通过实时 API 提供。
Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松，吸引 2000 多名开发者，围绕其 Sonic 语音模型完成 50 多个项目，并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向，其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。
Cartesia 推出 Voice Changer，可将任意音频片段转换为目标音色，同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择，或克隆自己的声音，并精确控制情感与节奏；该模型基于 S4、Mamba 等状态空间模型架构，已在 Cartesia playground 上线。
Cartesia 宣布 Sonic Multilingual 新增印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语和土耳其语 8 种语言 Alpha 版，总支持语言数达 15 种。新语言沿用 Sonic 的低延迟、对话质量和语音设计能力，基于其自研的 S4 与 Mamba 状态空间模型（SSM）架构实现实时语音生成。
Cartesia 发布端侧智能更新，推出开源（Apache 2.0）SSM 库 Edge、1.3B 参数开源语言模型 Rene，以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核，并配套 Python 包 cartesia-mlx；Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构，在 1.5T tokens 的 Dolma-1.7 上训练，推理时内存占用固定，支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音，具备即时克隆与可控发音、语速和情感。
推荐理由：Cartesia 把 SSM 架构落到端侧，同时开源模型与推理库，可据此判断端侧语音与语言模型的可行路径。
Cartesia 发布低延迟语音模型 Sonic，用于生成逼真语音，模型延迟为 135ms，官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API，playground 提供面向客服、娱乐和内容创作的语音库，支持即时克隆和语音设计（语速、情感），这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构，并自建推理栈以降低延迟和成本，后续将发布关于新架构的更多细节。
推荐理由：官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈，可据此判断低延迟语音合成的当前水平。