Cartesia 推出 Multilingual Voices:50+ 音色库原生支持最多 25 种语言,并可将自建克隆音色变为多语言
Cartesia 发布 Multilingual Voices,50+ 音色库音色原生支持最多 25 种语言,自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS,或在仪表盘中为克隆音色最多添加 9 种新口音和语言。
Cartesia 发布 Multilingual Voices,50+ 音色库音色原生支持最多 25 种语言,自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS,或在仪表盘中为克隆音色最多添加 9 种新口音和语言。
Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。
推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。
Cartesia 发布语音智能体开发平台 Line,面向开发者提供代码优先的构建方式,可从文本提示或模板在数分钟内创建首个智能体,并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话,保存音频与转写文本,报告延迟等系统指标并提供日志,支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署,企业版可完全本地部署并对模型微调。
推荐理由:Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台,并说明与 Sonic、Ink 模型的协同方式。
Cartesia 推出流式语音转文字(STT)模型系列 Ink,首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造,面向实时语音应用。官方称其采用动态分块处理变长音频片段,在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上,词错误率优于 whisper-large-v3-turbo 基线;在停止说话后完成转写的时间(TTCT)中位数为 66ms、P90 为 98ms,并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit,Scale 套餐下约 $0.13/hr,可集成 Vapi、Pipecat 和 LiveKit。
推荐理由:Cartesia 发布流式语音转文字模型 Ink-Whisper,给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据,可据此判断实时语音场景的选型。
Cartesia 为规模化语音 AI 开发者推出 Organizations 与 Dashboards 两项功能。Organizations 让团队共享 API 密钥、自定义音色与集中计费,席位不限,已在 Startup+ 套餐开放;Dashboards 面向所有成员提供额度、并发与 WebSocket 连接的实时可见性,其中并发和连接监控自 5 月 20 日起可用。
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆(PVC),可复刻音色、语调、风格与环境,现已登陆 Startup 及以上套餐并支持自助开通。训练免费,生成按每字符 1 credit 计费,与即时语音克隆相同;支持 15 种语言,可通过 Playground UI 和 API 使用。
Cartesia 发布 Python SDK v2.0.0,围绕统一的 Cartesia 客户端重构,支持异步调用、流式响应和 WebSocket 实时低延迟语音应用。SDK 内置 4xx/5xx 异常处理、指数退避自动重试,默认超时 60 秒,并允许覆盖 httpx 客户端以支持代理等场景。
Cartesia 推出 Voice Changer,可将任意音频片段转换为目标音色,同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择,或克隆自己的声音,并精确控制情感与节奏;该模型基于 S4、Mamba 等状态空间模型架构,已在 Cartesia playground 上线。
Cartesia 宣布 Sonic Multilingual 新增印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语和土耳其语 8 种语言 Alpha 版,总支持语言数达 15 种。新语言沿用 Sonic 的低延迟、对话质量和语音设计能力,基于其自研的 S4 与 Mamba 状态空间模型(SSM)架构实现实时语音生成。
Cartesia 发布端侧智能更新,推出开源(Apache 2.0)SSM 库 Edge、1.3B 参数开源语言模型 Rene,以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核,并配套 Python 包 cartesia-mlx;Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构,在 1.5T tokens 的 Dolma-1.7 上训练,推理时内存占用固定,支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音,具备即时克隆与可控发音、语速和情感。
推荐理由:Cartesia 把 SSM 架构落到端侧,同时开源模型与推理库,可据此判断端侧语音与语言模型的可行路径。
Cartesia 发布低延迟语音模型 Sonic,用于生成逼真语音,模型延迟为 135ms,官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API,playground 提供面向客服、娱乐和内容创作的语音库,支持即时克隆和语音设计(语速、情感),这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构,并自建推理栈以降低延迟和成本,后续将发布关于新架构的更多细节。
推荐理由:官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈,可据此判断低延迟语音合成的当前水平。