arXiv eess.AS· Wanli Sun, Dan Su, Anton Ragni·· 5 小时前评分22
Revise-TTS:面向 TTS 掩码扩散模型的非掩码式精修框架
Revise-TTS: A Non-Masking Refinement Framework for Masked Diffusion Models in Text-to-Speech
导读
Revise-TTS 是一个单阶段零样本语音生成框架,用分层二值量化(HBQ)替代有限标量量化(FSQ),并训练生成式精修网络(GRN)从真实与随机 token 的混合序列中重建 token 序列。推理时通过随机丢弃少量已预测 token 并重新预测实现迭代自校正,缓解掩码扩散模型中间预测无法修改导致的误差累积。实验与消融显示其零样本合成性能具竞争力,并可扩展至任意基于 MDM 的 TTS 任务。
来源:arXiv eess.AS · arxiv.org