跳到正文
热点事件观察中

黑盒因果测试审计LALM音频幻觉

1 篇报道1 个报道来源2 天前更新

先了解这件事

事件综述

Mohammad Khalooei 与 Mohammad Sabokrou 提出一种黑盒因果测试,用 CLAP 相似度定位模型声明所依据的音频证据区域,再以频谱门控将其移除,并与随机窗口对照,在三个 LALM 上按 2×2×2 网格比较。 在 Qwen2-Audio-7B 上,局部消融的原始 AUROC 为 0.613,低于空白波形的 0.721;作者称这是时长混淆所致,因为空白移除整段音频而网格只移除 2–4 秒,并非定位失败。固定时长后,定位在两个模型的每个网格单元都优于随机移除。 作者称原始检测值仍依赖模型,在 Audio Flamingo 3 上尤其明显,统一的因果定位画像无法跨模型迁移,说明各模型定位机制不同。结合空白与语言先验对比的门控集成对比解码,将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。

根据报道生成 · 1 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv eess.AS
    位置重要吗?黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位

    一项黑盒因果测试通过 CLAP 相似度定位声明的证据区域并用频谱门控移除,在三个 LALM 上对比随机窗口对照。在 Qwen2-Audio-7B 上,局部消融的原始 AUROC 为 0.613,低于空白波形的 0.721,但这是时长混淆所致;固定时长后定位在每个网格单元均优于随机移除。结合空白与语言先验对比的门控集成对比解码,将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。