arXiv eess.AS· Yuan Xie, Jiaqi Song, Guang Qiu, Xianliang Wang, Ming Lei, Jie Gao, Jie Wu·· 2 天前评分42
重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系
Rethinking Entropy Allocation in LLM-based ASR: Understanding the Dynamics between Speech Encoders and LLMs
导读
研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减，并据此设计基于能力边界感知的多阶段训练策略。该方法重新设计预训练以缓解语音-文本模态差距，并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段以保持功能解耦、抑制编码器表征漂移。在普通话和英语基准上，仅用 2.3B 参数即达到与 SOTA 模型相当的性能，并有效缓解幻觉。
来源：arXiv eess.AS · arxiv.org