跳到正文
6月10日周二
  1. Cartesia Blog71

    Cartesia 发布流式语音转文字模型 Ink-Whisper

    Cartesia 推出流式语音转文字(STT)模型系列 Ink,首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造,面向实时语音应用。官方称其采用动态分块处理变长音频片段,在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上,词错误率优于 whisper-large-v3-turbo 基线;在停止说话后完成转写的时间(TTCT)中位数为 66ms、P90 为 98ms,并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit,Scale 套餐下约 $0.13/hr,可集成 Vapi、Pipecat 和 LiveKit。

    推荐理由:Cartesia 发布流式语音转文字模型 Ink-Whisper,给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据,可据此判断实时语音场景的选型。

5月15日周四
  1. Cartesia Blog22

    Cartesia 推出 Organizations 与 Dashboards,面向规模化语音 AI 开发者

    Cartesia 为规模化语音 AI 开发者推出 Organizations 与 Dashboards 两项功能。Organizations 让团队共享 API 密钥、自定义音色与集中计费,席位不限,已在 Startup+ 套餐开放;Dashboards 面向所有成员提供额度、并发与 WebSocket 连接的实时可见性,其中并发和连接监控自 5 月 20 日起可用。

3月28日周五
3月3日周一
  1. Cartesia Blog29

    如何用 Cartesia API 构建语音 AI 智能体:从架构到生产部署的分步指南

    用 Cartesia API 和 Sonic 模型可在 Python 中搭建语音 AI 智能体,流程为语音识别转文本、LLM 生成回复、再由 Sonic 合成自然语音。教程要求准备 Cartesia 账号、API key 并安装 FFmpeg,语音识别可选用 Whisper、Deepgram 等服务,也可借助 LiveKit、VAPI 或 RASA 平台快速起步。

12月19日周四
  1. Cartesia Blog22

    Cartesia 发布 2024 年语音 AI 现状报告:梳理三大趋势并展望 2025

    Cartesia 首份《2024 年语音 AI 现状报告》梳理出三大趋势:编排式 STT→LLM→TTS 语音系统与端到端语音到语音模型兴起,Kyutai 的 Moshi 等全双工模型实现"边听边说";STT、LLM、TTS 三环节成熟推动语音 AI 进入企业级自然对话,LLM 成本从 GPT-4 的 45 美元/百万 token 降至 Llama 3.1 70B 的 2.75 美元/百万 token;LiveKit、Daily 及 Vapi 等编排平台将原本 6-12 个月的开发周期缩短至数周。

11月14日周四
  1. Cartesia Blog12

    Cartesia 十月黑客松回顾:2000 多名开发者基于 Sonic 语音模型打造 50 多个项目

    Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松,吸引 2000 多名开发者,围绕其 Sonic 语音模型完成 50 多个项目,并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向,其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。

10月8日周二
  1. Cartesia Blog40

    Cartesia 在 Sonic Multilingual 上新增 8 种语言 Alpha 版,总支持语言达 15 种

    Cartesia 宣布 Sonic Multilingual 新增印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语和土耳其语 8 种语言 Alpha 版,总支持语言数达 15 种。新语言沿用 Sonic 的低延迟、对话质量和语音设计能力,基于其自研的 S4 与 Mamba 状态空间模型(SSM)架构实现实时语音生成。

5月31日周五
  1. Cartesia Blog60

    Cartesia 发布低延迟语音模型 Sonic,模型延迟 135ms

    Cartesia 发布低延迟语音模型 Sonic,用于生成逼真语音,模型延迟为 135ms,官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API,playground 提供面向客服、娱乐和内容创作的语音库,支持即时克隆和语音设计(语速、情感),这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构,并自建推理栈以降低延迟和成本,后续将发布关于新架构的更多细节。

    推荐理由:官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈,可据此判断低延迟语音合成的当前水平。