VTTS多模态同步机制研究与TimeSync指标

Akshita Gupta等作者发表论文，以视频-文本到语音（VTTS）合成任务为测试平台，用基于解码器的统一Transformer模型Visatronic（在VoxCeleb2上训练）研究异构采样率模态间的同步机制，并提出音素级指标TimeSync。作者称，TimeSync能揭示帧级指标遗漏的时间错位。 研究发现，全局顺序索引与共时有序索引在域内同步表现相当，但域偏移下同步取决于token顺序与位置ID设计的交互；文本优先的共时索引在评估变体中迁移最稳健，且无需显式时间戳元数据。视频优先顺序在域内表现更强，文本优先顺序在带时间戳前缀的变体中泛化更好。作者还称，在多样化的真实数据上训练与更强的迁移性相关，但需针对性消融才能分离其贡献。

根据报道生成 · 1 天前更新

还没有足够的连续观测数据，暂不绘制趋势。