跳到正文
arXiv eess.AS· Sen Zhang, Xianghu Yue, Yiming Chen, Wenhuan Lu, Jianguo Wei, Haizhou Li·· 2 天前评分44

EAGLE-ASR:基于 EAGLE 风格投机解码的 ASR 无损推理加速

Lossless Inference Acceleration for ASR via EAGLE-Style Speculative Decoding

导读

EAGLE-ASR 通过 EAGLE 风格投机解码加速 ASR 推理,同时严格保持无损输出质量。其 Speech-Draft 轻量自回归模块联合利用编码器声学特征与目标 ASR 模型的分层解码器表示,配合多步生成策略和自蒸馏数据训练。在 Whisper 与 Conformer AED 模型上分别实现最高 1.9 倍和 2.4 倍无损加速,并泛化至多语言 ASR 与语音翻译任务。

来源:arXiv eess.AS · arxiv.org