arXiv cs.MM· Haoyue Bai, Yinyi Luo, Heqing Huang, Xiaoyuan Yi, James Evans, Jindong Wang·· 3 小时前评分29
Lluna：面向缺失模态推理的协同单模态模型
Lluna: Collaborative Unimodal Models for Missing-Modality Inference
导读
针对模态缺失时协同预测可能弱于单个存活单模态模型的问题，Lluna 将适配后单模态特征的私有预测路径与提供残差修正的图协同分支结合，并用渐进协同一致性按单模态移除顺序组织由丰富到稀疏的引导。在涵盖情感计算、场景理解与医疗预测的八个数据集上，Lluna 在非完整输入状态下取得最佳平均表现，Mean-Missing 平均较最强基线提升 4.26%。
来源：arXiv cs.MM · arxiv.org