多模态同步机制研究：基于解码器的视频-文本到语音合成洞察

研究以视频-文本到语音（VTTS）合成任务为测试平台，用基于解码器的统一 Transformer 模型 Visatronic 考察序列设计如何影响异构采样率模态间的同步。全局顺序索引与共时有序索引在域内同步表现相当，但域偏移下同步取决于 token 顺序与位置 ID 设计的交互，文本优先的共时索引在评估变体中迁移最稳健。文本支撑可懂度、视频提供时间线索与情感表达，视频优先域内更强而文本优先泛化更好；新提出的音素级指标 TimeSync 可揭示帧级指标遗漏的时间错位。