arXiv eess.AS· Jing-Xuan Zhang, Genshun Wan, Jianqing Gao, Jia Pan, Yumei Zhang, Lichen Zhang·· 5 小时前评分31
FLARE：通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征
Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling
导读
FLARE 通过跨模态蒸馏与联合人脸-唇部建模学习鲁棒的视觉语音表征，以 Whisper 表征为声学教师信号，经随机投影量化器转为离散蒸馏目标，并采用掩码预测预训练。其双流架构分别处理唇部 ROI 与全脸输入，预训练时引入辅助音频与模态 dropout。在 LRS2、LRS3 和 WildVSR 上词错误率分别为 11.7%、13.2% 和 34.3%，联合建模在低分辨率和大幅头部姿态变化下更鲁棒。
来源：arXiv eess.AS · arxiv.org