两阶段搜索框架提升音视频对齐奖励
热点事件观察中
两阶段搜索框架提升音视频对齐奖励
1 篇报道1 个报道来源2 天前更新
先了解这件事
事件综述
Shivanshu Shekhar 等作者提出免训练、与奖励无关的两阶段框架 Spend Where It Matters,将粒子搜索与 Metropolis-Hastings(MH)精修结合,在固定算力预算下提升音视频联合生成的对齐奖励。第一阶段按在线方差估计在去噪检查点间自适应分配粒子,为 MH 提供候选,从而在不扩大粒子规模的情况下获得更高奖励。 作者在 JavisBench-Mini 上报告,算力接近时,该方法配合 JavisDiT++ 相对 BoN 平均提升 30.7%、相对 EvoSearch 提升 14.1%;配合 LTX-2 相对 BoN 提升 9.2%、相对 EvoSearch 提升 17.0%。作者还称,在 SD1.5 图像生成上,自适应粒子分配相对均匀分配将 AestheticScore 提升 2.2%、ImageReward 提升 6.0%。
根据报道生成 · 1 天前更新
最新进展10月12日 12:00
Spend Where It Matters:粒子搜索结合 MH 精修,在固定算力预算下提升音视频对齐报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv eess.ASSpend Where It Matters:粒子搜索结合 MH 精修,在固定算力预算下提升音视频对齐
一种免训练、与奖励无关的两阶段框架 Spend Where It Matters 将粒子搜索与 Metropolis-Hastings(MH)精修结合,在固定算力预算下提升音视频联合生成的对齐奖励。第一阶段按在线方差估计在去噪检查点间自适应分配粒子,为 MH 提供强候选,从而在不扩大粒子规模的情况下获得更高奖励。在 JavisBench-Mini 上,与算力接近时,该方法配合 JavisDiT++ 相对 BoN 平均提升 30.7%、相对 EvoSearch 提升 14.1%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。