Cartesia Blog·· 2024-03-04精选评分62
Cartesia 提出 Based 架构：提示处理比 FlashAttention-2 快 56%，生成吞吐高 24 倍
Based: Simple linear attention language models balance the recall‑throughput tradeoffBased is 56% and 44% faster at processing prompts than FlashAttention-2 and Mamba respectively. Based achieves 24x higher text generation throughput than FlashAttention-2.[Research]Mar 4, 2024
导读
Cartesia 发布论文与博客，提出循环架构 Based，用滑动窗口注意力（窗口 64）加线性注意力（对 exp(QK^T) 做二阶泰勒近似）组合，在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%，文本生成吞吐最高达 FlashAttention-2 的 24 倍；但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由
论文给出召回与显存之间的权衡分析，并说明 Based 如何用滑窗加线性注意力落到该曲线上。
来源：Cartesia Blog · cartesia.ai