研究用四项探针检验音频语言模型音乐评判依据

一项研究提出四项探针，检验开放音频语言模型作为生成音乐评委时，究竟依据音乐本身、文本提示还是提问方式打分。四项探针分别是：去掉音频、把片段换成另一模型对同一提示生成的片段、在成对判断中交换两片段顺序、改写指令；其中三项以人工评分计算出的对照为基准。 研究在 MusicEval 全部 2,748 个片段上测试五个开放评委，后两项探针还用于 SongEval 歌曲。结果显示：没有音频时，没有任何评委超过仅凭提示从人工评分预测的水平；有音频时所有评委在提示对齐上跟随所听片段。成对判断中，四个较小评委的结论跟随片段在配对中的位置而非质量。对音乐质量而言，改写指令对多数评委相关性的影响与更换评委相当。

根据报道生成 · 1 天前更新

还没有足够的连续观测数据，暂不绘制趋势。