TTS 模型好不好?为什么语音合成评测随模型进步而失效,以及如何衡量真正重要的指标
Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。
Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。
Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。