arXiv eess.AS· Yaroslav Getman, Tam\'as Gr\'osz, Tommi Lehtonen, Mikko Kurimo·· 2 天前评分42
从 210 万小时广播音频到芬兰语语音 SSL：大规模置信度过滤与架构分析
From 2.1M Hours of Raw Broadcast Audio to Finnish Speech SSL: Confidence Filtering and Architectural Analysis at Scale
导读
一项芬兰语语音 SSL 研究以 210 万小时无约束广播音频为起点，提出用 ASR 置信度作为预训练数据质量代理，在训练集更小的情况下相比基于 LID 的过滤取得 3-7% 的相对 WER 改善。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 与 E-Branchformer，模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。
来源：arXiv eess.AS · arxiv.org