热点事件持续更新

FLARE视觉语音表征学习框架被NeurIPS 2026接收

1 篇报道1 个报道来源4 小时前更新

先了解这件事

事件综述

Jing-Xuan Zhang等作者提出视觉语音表征学习框架FLARE，论文被NeurIPS 2026接收。该框架以Whisper表征作为声学教师信号，经随机投影量化器转为离散蒸馏目标，并以掩码预测目标预训练；采用双流架构分别处理唇部ROI与全脸输入，预训练时引入辅助音频和模态dropout。在LRS2、LRS3和域外WildVSR基准上，FLARE的词错误率分别为11.7%、13.2%和34.3%；论文称联合人脸-唇部建模在低分辨率和大幅头部姿态变化下更鲁棒。

根据报道生成 · 3 小时前更新

最新进展10月15日 12:00

FLARE：通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征

报道时间线

沿着报道，了解事件的不同侧面。

10月15日

12:00
arXiv eess.AS
FLARE：通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征
FLARE 通过跨模态蒸馏与联合人脸-唇部建模学习鲁棒的视觉语音表征，以 Whisper 表征为声学教师信号，经随机投影量化器转为离散蒸馏目标，并采用掩码预测预训练。其双流架构分别处理唇部 ROI 与全脸输入，预训练时引入辅助音频与模态 dropout。在 LRS2、LRS3 和 WildVSR 上词错误率分别为 11.7%、13.2% 和 34.3%，联合建模在低分辨率和大幅头部姿态变化下更鲁棒。

本事件热度走势

可比范围当前: 9
可比范围峰值: 910月15日 14:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。