跳到正文
arXiv eess.AS· Mohan Shi, Zilai Wang, Natarajan Balaji Shankar, Kaiyuan Zhang, Eray Eren, Abeer Alwan·· 2 天前评分35

通过 Adapter 唤醒编码器:Speech-LLM 的领域自适应微调方法 EAVA

Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs

导读

针对 Speech-LLM 在儿童或方言等域偏移语音上适应不足的问题,研究者提出领域自适应微调方法 EAVA:先在各编码器层插入轻量 Adapter 单独训练,再结合 LLM 上的 LoRA 联合微调全模型。在三个域偏移 ASR 数据集上,EAVA 持续优于常规微调及其他基线,取得新的最优性能。

来源:arXiv eess.AS · arxiv.org