跳到正文
5月12日周二
3月9日周一
  1. Tavus Blog40

    Tavus 推出 Raven-1 多模态感知系统,融合音视频实时理解对话意图

    Tavus 发布 Raven-1 多模态感知系统,将音频、视觉与时间动态统一处理并实时对齐,通过语调、表情、迟疑和语境判断用户真实意图,而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题,主张情绪是连续且分层的,无法归入固定类别。

2月4日周三
  1. Google AI Blog68

    YouTube 自动作配音扩展至 27 种语言:Expressive Speech 八语种上线并试点唇形同步

    YouTube 宣布自动配音面向所有创作者开放并扩展至 27 种语言:2025 年 12 月日均超 600 万观众观看 10 分钟以上自动配音内容;Expressive Speech 在英法德等 8 种语言上线以保留情绪表达,同时新增观众偏好语言设置与音乐/静音视频智能过滤,唇形同步处于试点阶段。

    推荐理由:全球最大视频平台的 AI 配音规模化数据与功能边界,是配音行业与 AI 增强的风向标。

1月10日周六
  1. 声网博客22

    声网对话式 AI 引擎:2 行代码 15 分钟搭建 24 小时 AI 客服

    声网推出对话式 AI 引擎,主打 2 行代码、15 分钟快速构建 AI 客服智能体,集成 ASR、NLP、LLM 与 TTS 全链路。其端到端响应延迟控制在 650 毫秒以内,打断响应为 340 毫秒,并可抑制高达 95% 的环境人声与背景噪声。接入需开通服务、集成 v4.5.1 及以上实时互动 SDK,并配置 LLM 与 TTS 供应商信息。

11月4日周二
7月11日周五
  1. Cartesia Blog50

    Cartesia 发布 H-Nets 分层网络研究,直接从原始数据学习

    Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。

    推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。

5月6日周二
  1. Cartesia Blog40

    Cartesia 推出基于 Sonic 的专业语音克隆(PVC),Startup+ 套餐可自助使用

    Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆(PVC),可复刻音色、语调、风格与环境,现已登陆 Startup 及以上套餐并支持自助开通。训练免费,生成按每字符 1 credit 计费,与即时语音克隆相同;支持 15 种语言,可通过 Playground UI 和 API 使用。

3月11日周二
  1. Cartesia Blog36

    Cartesia 获 Kleiner Perkins 领投 6400 万美元 A 轮融资,发布语音生成模型 Sonic 2.0

    Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资,并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快,全模型延迟 90ms、turbo 模式 40ms,在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍,同时新增变声与音频填充两个接口。

12月12日周四
10月30日周三
5月31日周五
  1. Cartesia Blog60

    Cartesia 发布低延迟语音模型 Sonic,模型延迟 135ms

    Cartesia 发布低延迟语音模型 Sonic,用于生成逼真语音,模型延迟为 135ms,官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API,playground 提供面向客服、娱乐和内容创作的语音库,支持即时克隆和语音设计(语速、情感),这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构,并自建推理栈以降低延迟和成本,后续将发布关于新架构的更多细节。

    推荐理由:官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈,可据此判断低延迟语音合成的当前水平。

3月4日周一
  1. Cartesia Blog62

    Cartesia 提出 Based 架构:提示处理比 FlashAttention-2 快 56%,生成吞吐高 24 倍

    Cartesia 发布论文与博客,提出循环架构 Based,用滑动窗口注意力(窗口 64)加线性注意力(对 exp(QK^T) 做二阶泰勒近似)组合,在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%,文本生成吞吐最高达 FlashAttention-2 的 24 倍;但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。

    推荐理由:论文给出召回与显存之间的权衡分析,并说明 Based 如何用滑窗加线性注意力落到该曲线上。