跳到正文
7月11日周五
  1. Cartesia Blog50

    Cartesia 发布 H-Nets 分层网络研究,直接从原始数据学习

    Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。

    推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。

3月28日周五
11月14日周四
  1. Cartesia Blog12

    Cartesia 十月黑客松回顾:2000 多名开发者基于 Sonic 语音模型打造 50 多个项目

    Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松,吸引 2000 多名开发者,围绕其 Sonic 语音模型完成 50 多个项目,并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向,其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。

8月28日周三
  1. Cartesia Blog60

    Cartesia 发布端侧智能更新:开源 SSM 库 Edge、1.3B 模型 Rene 与 Sonic On-Device 内测

    Cartesia 发布端侧智能更新,推出开源(Apache 2.0)SSM 库 Edge、1.3B 参数开源语言模型 Rene,以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核,并配套 Python 包 cartesia-mlx;Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构,在 1.5T tokens 的 Dolma-1.7 上训练,推理时内存占用固定,支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音,具备即时克隆与可控发音、语速和情感。

    推荐理由:Cartesia 把 SSM 架构落到端侧,同时开源模型与推理库,可据此判断端侧语音与语言模型的可行路径。

3月4日周一
  1. Cartesia Blog62

    Cartesia 提出 Based 架构:提示处理比 FlashAttention-2 快 56%,生成吞吐高 24 倍

    Cartesia 发布论文与博客,提出循环架构 Based,用滑动窗口注意力(窗口 64)加线性注意力(对 exp(QK^T) 做二阶泰勒近似)组合,在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%,文本生成吞吐最高达 FlashAttention-2 的 24 倍;但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。

    推荐理由:论文给出召回与显存之间的权衡分析,并说明 Based 如何用滑窗加线性注意力落到该曲线上。