跳到正文
arXiv eess.AS· Jisoo Park, Seonghak Lee, Hyojin Park, Junseok Kwon·· 2 天前评分31

SENSE:通过空间图编码从脑电动力学实现语义神经语音合成

SENSE: Semantic Neural Speech Synthesis from Brain Dynamics via Spatial Graph Encoding

导读

研究者提出 SENSE(Semantic-EEG Neural Speech SynthEsis),用基于电极几何的图编码器结合 EEG 语义条件(ESC),将 EEG 对齐到预训练语义空间,从非侵入式脑信号合成语音。在 N400 数据集上,SENSE 在声学与语义指标上均优于此前方法;仅用两名受试者训练,其词错误率已超过用全部十八名受试者训练的最强基线。

来源:arXiv eess.AS · arxiv.org