arXiv eess.AS· Shreya Sajid, Anna Vettoruzzo, Joaquin Vanschoren·· 2 天前评分40
AudioTETRIS：利用过渡重要性信号消除 Token，实现高效音频 LLM
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
导读
AudioTETRIS 是一个免训练的两阶段框架，利用音频编码器的表示几何作为声学先验，在 LLM 解码器中计算逐 Token 融合分数并逐层进行 top-k 选择，无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 Token 即可在多项语音任务上保持接近未压缩的性能，中等压缩率下可持平或超过全 Token 准确率，并持续优于现有免训练基线。
来源：arXiv eess.AS · arxiv.org