跳到正文
10月12日周一
  1. arXiv eess.AS31

    EarLog:将播放音频转为机会式耳部生理探测,实现个性化听力风险感知

    EarLog 将耳机播放音频本身作为探测信号,通过内容条件化残差感知识别声反射(AR),在嵌入式控制器上实时运行,仅需低成本双麦克风附件。在 81 名参与者、16 款耳机、超 400 小时录音的评估中,该方法在临床参考基准上达到 99.0% 灵敏度和 98.7% 特异度,可在日常聆听中记录个体化 AR 事件,为听力风险的纵向研究提供数据。

  2. arXiv cs.MM38

    DIA:面向云游戏的深度强化学习兴趣感知 ABR 方案

    针对云游戏在无线网络下高分辨率、低延迟传输的难题,研究者提出基于深度强化学习的兴趣感知 ABR 方案 DIA,借助现成语义分割模型实现对象级码率调整,并通过基于 Transformer 的特征提取器和兴趣感知奖励函数识别关键对象。该方案依据玩家游戏内移动速度、对象特征和网络状况自适应调整码率,无需眼动追踪等额外硬件。实验显示,在 5G 场景下 DIA 的归一化平均 QoE 至少比 SOTA ABR 算法高 20%。

  3. arXiv eess.AS40

    E3-System:可显式控制、易用的表达性零样本 TTS 框架

    E3-System 是一个面向表达性零样本 TTS 的意图到语音统一框架,可在给定目标说话人和自然语言风格描述或语音风格提示时,生成保留目标音色的表达性语音。它通过千小时多语言情感语音数据集 EmoData、将文本描述对齐为声学风格提示的 Style-RAG,以及借助 VC 增强音色-风格解耦的 Dual-TTS,打通从风格建模到可控合成的完整控制闭环。实验显示其在语音质量、说话人保持和显式表达控制上表现良好。

  4. arXiv cs.MM22

    EmoGavel:面向多模态情感偏好学习的可验证奖励接地感知强化学习框架

    EmoGavel 是一个面向多模态情感偏好学习的接地感知强化学习框架,通过可验证奖励同时学习偏好预测、错误定位、修复与缺失证据恢复。其先以 Grounded SFT 利用受控错误构造信息进行监督微调,再用 GA-GRPO 结合偏好门控接地奖励与动态零方差救援优化可验证结果。在 EmoPrefer 与受控错误评测集上,该方法提升了自然偏好预测与受控错误判别能力,并保持较强的错误接地性能。

10月8日周四
  1. webrtcHacks74

    实测:Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一

    Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半,也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理,在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次:回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%,失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB,约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行,增益控制器在此期间把自适应数字增益从 15 dB 调高,放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后,三次失败落在 384 到 500 ms 之间,而 smart-turn-v3 以 0.954 的置信度判定回声已说完,说明问题出在流水线看不到的浏览器组件。

    推荐理由:作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率,并给出 VAD 阈值取舍的实测依据。

10月7日周三
  1. Hume AI Blog58

    Hume 拆解表情测量模型:面部与语音情绪信号如何变成可评测的结构化分数

    Hume AI 的技术长文,介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法:把语气、迟疑、惊讶等信号转为结构化分数,用于数据标注、AI 输出评估与跨录音比较,并跟踪交互过程中情绪随时间的变化。

    推荐理由:少见地把情绪测量模型的构建与评测方法完整公开,对情感计算与语音 Agent 评测有方法论价值。

10月2日周五
  1. Boson AI Blog48

    Higgs TTS 3 在 Hume 语音复刻榜单位列第四,口音参考音得分最高

    Boson AI 的 Higgs TTS 3 在 Hume AI 语音复刻榜单中位列 11 个模型第四,口音参考音得分 4.28 为全场最高,略高于 VoxCPM2,并领先 Fish Audio S2 Pro、ElevenLabs v3 和 ElevenLabs Multilingual v2。该评测由三名人工评分者在不知模型来源的情况下按 1 至 5 分打分,测试集含 25 个参考音,其中 15 个带不同口音、9 个来自非英语母语者。Higgs TTS 3 的 Same Speaker 得分为 3.83,客观相似度 0.74 并列第三,音质 4.38 与最高分相差 0.23。该模型为开放权重,已在 Hugging Face 上线,上月下载量接近 10 万次,并可通过 Higgs TTS API 使用。

9月30日周三
9月25日周五
  1. 论文与标准70

    实时语音 Agent 评估综述:从组件级质量指标走向任务落地结果

    综述系统梳理实时语音 Agent 的评测谱系:从 ASR/TTS 组件指标,到 VoiceBench、Full-Duplex-Bench v1.5/v2 等会话行为基准(覆盖重叠、打断、多轮与多说话人),再到以状态校验和任务完成为准的 agentic 评测,指出评估重心正从"系统说了什么"转向"在真实对话约束下做了什么"。

    推荐理由:语音 Agent 评估方向的系统性综述,为搭建评测体系提供完整地图。

  2. 论文与标准66

    Duplex-MPE:2000 场景评测全双工模型多人交互

    该基准构造 2000 个由 3–4 名真人说话者加一个助手组成的场景,以连续音频流(无转写、无轮次边界)评测助手的应答发起、答案准确、保持沉默与适时停说四项能力,并覆盖显式/隐式指涉配对;对 MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omni 五个开源系统的评测显示 MiniCPM-o 4.5 在三项能力上领先。

    推荐理由:把全双工评测从双人对话推进到多方交互,直指语音 Agent 在群聊场景的核心缺陷。

9月24日周四
  1. Hume AI Blog40

    Google Gemini 3.8 Flash TTS 登顶 Hume 真实世界 VoiceEQ 榜单

    Hume 对 Google Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 预览版进行独立评测,两款模型分列 Expressivity–Reliability 前沿评分第一、第二,达 0.920 和 0.914。相比 Gemini 3.1 Flash TTS,长文本稳定性得分从 1.22 升至 2.89 和 3.03(五分制),语音设计可控性领先,但说话人相似度与部分精细控制仍偏弱。

9月18日周五
  1. 论文与标准66

    NemotronLabs VoiceChat:带原生工具调用的开源全双工语音到语音模型

    论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat,把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中,使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分;FDB 1.5 上回信道(backchannel)后 93% 恢复回复;VoiceBench 归一化均分 55.1,FDB 3.0 工具选择 F1 为 82.5%,但参数准确率与端到端工具执行仍是待改进项。

    推荐理由:把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作,给出完整基准数据。

9月17日周四
  1. Hume AI Blog62

    Hume 发布语音可控性排行榜,评测 17 个 TTS 模型

    Hume 发布 Voice Controllability Leaderboard,从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型,采用数万条人工评分而非 LLM 评委,理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先:Google 与 ElevenLabs 总体领先但各有短板,开源模型在语音设计上仍有竞争力;性别平均准确率 97.87%,年龄仅 51.8%,讽刺是最难传达的语气。

    推荐理由:榜单用数万条人工评分对比 17 个语音模型的可控性,并指出 LLM 评委可能因数据泄漏抬高分数。

  2. Cactus Engineering Blog58

    Cactus 受控实验:删掉 FFN 后 Transformer 只损失 0.006 nats

    在控制参数量、算力与深度后测量删除前馈网络的损失:匹配参数下仅 0.006 nats,且集中在无外部信息可查的 token 上;该结论支撑 Needle 2/3 的纯注意力架构,完整研究为 A Controlled Study of Attention-Only Transformers。

    推荐理由:对 transformer 架构常识的反直觉实证,方法论干净。

  3. 论文与标准57

    Voice-Light:带因果话轮与投机生成的全双工级联语音 Agent

    论文提出全双工级联语音 Agent Voice-Light,组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成,使结构化工具调用可与桥接语音并发执行,且被取消的音频不会进入对话历史(浏览器端回执让已播放音频成为权威记录)。在 1673 条真实对话静音候选上的锁定评测显示:学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%,而 Silero 时序策略召回 95.60%,因此线上保留混合控制器而非替换为学习策略;三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms(21 轮低于 800ms),作者声明这属于插桩案例研究而非受控用户评测。

    推荐理由:少见的公开负面结果与可复现工程细节,说明级联全双工中学习式话轮判断的真实局限。

9月14日周一
  1. Tavus Blog71

    Tavus 发布 Sparrow-2 对话理解模型,在 TurnBench 轮次切换两项任务上领先

    Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2,不再依赖降噪和静音计时器,而是保留并分类背景语音、噪声、反馈语和打断等信号,联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split(38 段对话、7.3 小时音频)上,它取得 92.4% 的轮次结束召回和 97.4% 的打断召回,是唯一同时领先两项任务的系统,中位决策延迟 632 ms,7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行,处理 80 ms 音频约需 7 ms,可容忍 6 至 8 秒的思考停顿,现已通过 Tavus API 和平台正式可用。

    推荐理由:Sparrow-2 把轮次切换从端点检测改为整体对话状态建模,并给出与十四套系统的基准对比,可据此判断语音智能体在嘈杂环境中的可用边界。

9月10日周四
  1. Hume AI Blog62

    Hume 发布语音复刻排行榜,评测 11 个 TTS 模型的克隆效果

    Hume 发布 Voice Replication Leaderboard,作为 Real World VoiceEQ Benchmark 的新组件,用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力,评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先:Cartesia sonic-3.6-beta 自然度最高(4.36)但同一说话人仅排第八(3.63),OpenBMB VoxCPM2 同一说话人第一(4.21)而自然度第五(3.96);音质分数集中在 3.85 至 4.61,同一说话人分数跨度更大,为 2.91 至 4.21。

    推荐理由:榜单把说话人相似度、自然度、音质和客观相似度分开评测,并给出按口音与情绪拆分的对比,可供选型时参考。

8月28日周五
  1. Netflix Technology Blog71

    Netflix 详解 MAPS:用多模态嵌入做大规模素材个性化

    Netflix 介绍 MAPS 多模态素材个性化系统,把 CLIP 图像嵌入与素材 ID 嵌入拼接,让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个,在数据最少的 short-panel 与 landscape-panel 画布上收益最大;消融实验中只有图像嵌入与统一模型同时使用(V3)才在至少四周的线上 A/B 测试中取得显著提升,short-panel 离线 IPS 提升 5.691%。视频预览方面,融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线,已成为默认视频预览嵌入。

    推荐理由:Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动,并给出离线 IPS 与线性探针的评估取舍。

8月20日周四
  1. Meta AI Research Blog28

    Meta 发布 Muse Spark 1.2 多模态评测结果:视觉编码、机器人与音视频理解

    Meta 公布 Muse Spark 1.2 的多模态评测结果与演示,该版本在模型可调用工具时多模态提升最明显,覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码,机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务,Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。

8月11日周二
  1. 论文与标准60

    MoMQ:元数据驱动的多路径 QUIC,P99.9 帧时间降至 114ms

    论文指出多路径传输对实时视频收益有限的根因是调度器只看字节、不识别关键帧;MoMQ 作为 MoQT 扩展让应用与 relay 用声明式规则把 Object 元数据映射到标注路径,在 Starlink+WiFi 真实试验台上用 4 条规则将 P99.9 帧完成时间从 384.7ms 降至 114.1ms,播放缓冲需求减少 61.5%,且是唯一满足 150ms 交互延迟目标的配置。

    推荐理由:把 MoQT 的语义元数据用于多路径调度,给出了 QUIC 时代弱网对抗的新方向。

8月9日周日
  1. Cactus Engineering Blog36

    Needle 2:面向微型设备的 14 MB 智能体 LLM

    Cactus 发布 Needle 2,一个 45M 参数的开源模型,用于工具调用、设备操作和结构化抽取,整个模型是单个 14MB 二进制文件,会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec,在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec,并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化,从预训练到后训练全程针对 Cactus Quants 训练,并支持在 Mac/PC 上微调。

8月6日周四
  1. 论文与标准58

    MultiMoQ 入选 ACM MM 2026:多接入 MoQ 瓦片流

    论文面向 360° 沉浸式直播,基于 MoQ 重新设计多接入路径下的瓦片流投递机制,支持灵活的瓦片调度与无缝接入切换;原型在真实网络仿真中对比 DASH 与标准 MoQ,提升了增强瓦片与基础层的 goodput、降低增强瓦片尾部端到端延迟,并消除标准 MoQ 在带宽受限下的持续停滞。

    推荐理由:MoQ 在高码率沉浸式视频上的系统性扩展,已被 ACM MM 2026 接收,代表学术侧的落地验证。

7月31日周五
  1. 论文与标准68

    M3-DuplexBench:英日双语全双工对话评测基准

    该基准联合评估全双工口语对话系统的交互时机(轮次切换、附和、打断)与响应内容,覆盖英语与日语的闲聊及多轮问答场景,并基于同源语料实现跨语言对比;实验揭示不同全双工模型具有模型特有的交互模式,语言与领域间存在明显性能差异。

    推荐理由:全双工语音模型评测方向的代表性新基准,补足多轮、多语言受控对比的空白。

7月28日周二
  1. Cartesia Blog38

    TTS 模型好不好?为什么语音合成评测随模型进步而失效,以及如何衡量真正重要的指标

    Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。

7月22日周三
  1. AWS Media Blog62

    AWS 对比 NDI SpeedHQ 与 JPEG XS 的编解码画质基准

    AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试,测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps,在 Amazon EC2 C6id.12xlarge 上运行,NDI 用 Advanced SDK 6.3.1,JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大,NDI SpeedHQ 在低码率下略优且存在质量上限;两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。

    推荐理由:AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失,可据此判断长信号链下选哪种中间编解码器。

6月24日周三
  1. 论文与标准60

    MoQ 时移客户端 ABR 评测:多 4 秒延迟可换 4 倍吞吐

    论文在 Mininet 模拟拓扑中评估 MoQ SWITCH 式 ABR 对直播与时移播放的适配,验证标准 ABR 算法可直接用于时移播放并显著提高吞吐:订阅者重缓冲后可恢复更高吞吐,增加不到 4 秒的流延迟即可换来约 4 倍吞吐提升,开源了 MOQtail 扩展与测试框架。

    推荐理由:直接回应 MoQ 工作组正在讨论的 ABR 切换语义,给 SWITCH 设计提供实证数据。

5月26日周二
  1. 声网博客28

    2026年5月开源语音合成模型TTS推荐与测评:Higgs Audio V2、CosyVoice 2等六款横评

    2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型,按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首,Higgs Audio V2情感表达4.7最强,VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行,Fish Speech协议为CC BY-NC-SA不可商用。

5月12日周二
  1. Cactus Engineering Blog62

    Cactus 开源 26M 参数函数调用模型 Needle:端侧预填充 6000 tok/s

    Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle,消费级设备上预填充 6000 tok/s、解码 1200 tok/s;核心观察是工具调用本质是检索与组装而非推理,因此采用纯注意力加门控结构、完全去掉 FFN。

    推荐理由:端侧函数调用模型的代表性工作,结构取舍结论对端侧 AI 有普适启发。

4月24日周五
  1. 论文与标准66

    论文 OCC:用物理层信息辅助 RTC 拥塞控制,尾延迟降低 13%-68%

    针对 RTC 试错式带宽探测在蜂窝网络波动下迟缓失准的问题,OCC 直接读取物理层信息实时获取可用带宽,并通过帧级带宽测量、APP 限速感知估计与编码器友好码率控制三项策略适配 RTC 的流量突发与编码滞后特性;在开源蜂窝测试床的实网实验中,尾网络延迟降低 13%-68%,视频帧码率提升 1.2-3.5 倍。

    推荐理由:把跨层信息引入实时拥塞控制的新思路,实验增益明确,代表 2026 年 RTC 传输研究的一个方向。

4月23日周四
  1. 论文与标准62

    HumDial 全双工赛道:真人双声道数据集与 FDBench

    论文基于 ICASSP 2026 HumDial 挑战赛全双工赛道,发布涵盖打断、语音重叠与反馈机制的真实真人双声道对话数据集,并构建评测系统在维持对话流的同时处理打断能力的 HumDial-FDBench 基准,配套公开排行榜以比较开源与商用全双工模型。

    推荐理由:为全双工语音系统提供真实录音数据集与可复现评测框架,是该方向的重要基础设施。

2月13日周五
  1. Daily.co Blog71

    Pipecat 发布语音智能体 STT 基准:对比 10 家服务的延迟与语义准确率

    Pipecat 团队发布面向实时语音智能体的 STT 基准,在 1000 条真实人类语音样本上测试 10 家 STT 服务,同时衡量转写延迟(TTFS)与语义准确率。中位延迟上 Deepgram Nova 3(247ms,1.62% WER)、Soniox(249ms,1.29% WER)、Speechmatics(495ms,1.07% WER)位于帕累托前沿。基准用 Claude 做语义 WER 评估,只统计会导致 LLM 理解不同的错误,并强调 P95 延迟与 finalization 支持比中位数更影响对话体验;代码已在 GitHub 开源,Pipecat 0.0.102 起可设置 ttfs_p99_latency 参数。

    推荐理由:Pipecat 团队用 1000 条真实语音对比 10 家 STT 服务的延迟与语义准确率,并给出可自行复现的基准工具。

2月10日周二
  1. 论文与标准74

    论文 Camel:帧级带宽估计提升直播 1080P 占比 70.8%

    北大与字节跳动团队发现反直觉现象:编码码率未用满带宽时卡顿仍频发,根因是实时编码的瞬时码率波动让包级拥塞控制误判可用带宽;Camel 改用帧级网络反馈估计真实容量,由带宽与时延估计器、拥塞检测器与突发长度控制器组成;在 2.5 亿用户、20 亿会话、150+ 国家的真实平台上线后,1080P 分辨率占比最多提升 70.8%,媒体码率提升 14.4%,卡顿率最多下降 14.1%;仿真中码率高 19.8%、卡顿率低 93.0%、带宽估计精度提升 23.9%。

    推荐理由:从真实大规模平台发现问题并验证的拥塞控制研究,WWW 2026 收录,数据完整。

  2. 论文与标准62

    论文 TAROT:按段调优 FEC 冗余度,开销最多降 43%

    针对静态 FEC 配置在丢包率与缓冲变化下要么浪费带宽要么保护不足的问题,TAROT 逐段选择冗余度、块大小与符号化参数,联合考虑传输层丢包/goodput、应用层缓冲动态与块级时序;支持 Reed-Solomon、RaptorQ 与 XOR 码,在低延迟直播与 VOD、多种网络轨迹与 ABR 算法下,FEC 开销最多降 43%,感知质量提升 10 VMAF。

    推荐理由:用优化模型替代经验阈值的 FEC 调参方法,兼顾开销与画质的量化结果有工程参考价值。

2月2日周一
  1. Daily.co Blog60

    Daily 发布语音智能体 LLM 基准 aiwf_medium_context,测试长多轮工具调用与延迟

    Daily 发布语音智能体基准 aiwf_medium_context,测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用,源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%,但都太慢,无法满足语音智能体所需的 1500ms 以内语音到语音响应(约对应文本模型 700ms TTFT);生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash,AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出,GPT Realtime 通过率为 86.7%,低于 GPT-4.1 的 94.9%。

    推荐理由:Daily 公开语音智能体基准的源码与结果,可看到长多轮对话下模型能力与延迟之间的取舍。

7月11日周五
  1. Cartesia Blog50

    Cartesia 发布 H-Nets 分层网络研究,直接从原始数据学习

    Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。

    推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。

3月4日周一
  1. Cartesia Blog62

    Cartesia 提出 Based 架构:提示处理比 FlashAttention-2 快 56%,生成吞吐高 24 倍

    Cartesia 发布论文与博客,提出循环架构 Based,用滑动窗口注意力(窗口 64)加线性注意力(对 exp(QK^T) 做二阶泰勒近似)组合,在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%,文本生成吞吐最高达 FlashAttention-2 的 24 倍;但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。

    推荐理由:论文给出召回与显存之间的权衡分析,并说明 Based 如何用滑窗加线性注意力落到该曲线上。