arXiv eess.AS· Yanxiang Chen, Haoyuan Deng, Jinyu Wang, Hongyi Chen, Dingshan Li, Runlin Huang, Weifeng Su·· 2 天前评分36
LATTE：面向音频 LLM 的音韵感知说话人提取前端
Phonology-Aware Speaker Extraction Frontend for Audio LLMs
导读
研究者提出轻量前端 LATTE（5.2M 参数），通过声学难度估计器、任务自适应音韵先验和自适应 Hourglass 提取器，在推理时无需语言标识即可为每个混合语音分配计算量。在 PolyExtract 上，LATTE 以 0.30 GFLOPs 达到 15.07 dB 的 macro SI-SNRi，性能与 0.53 GFLOPs 固定深度模型相差 0.09 dB 以内，同时计算量减少 43.4%，并将平均 WER 从 TF-GridNet 的 16.8% 降至 14.6%。
来源：arXiv eess.AS · arxiv.org