新方法用2.3B参数比肩SOTA语音识别
热点事件观察中
新方法用2.3B参数比肩SOTA语音识别
1 篇报道1 个报道来源2 天前更新
先了解这件事
事件综述
Yuan Xie等作者提出一种基于熵分配的多阶段LLM-ASR训练策略，从熵分配视角重新审视语音编码器与LLM之间的动态关系，用三项指标刻画训练范式如何分配熵减，并据此设计能力边界感知的多阶段训练。 该方法重新设计预训练以缓解语音-文本模态差距，并在对齐与联合SFT之间引入迭代异步SFT阶段，以保持功能解耦、抑制编码器表征漂移。作者称，在普通话和英语基准上，该方法仅用2.3B参数即达到与SOTA模型相当的性能，并有效缓解幻觉。
根据报道生成 · 1 天前更新
最新进展10月12日 12:00
重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv eess.AS重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系
研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减，并据此设计基于能力边界感知的多阶段训练策略。该方法重新设计预训练以缓解语音-文本模态差距，并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段以保持功能解耦、抑制编码器表征漂移。在普通话和英语基准上，仅用 2.3B 参数即达到与 SOTA 模型相当的性能，并有效缓解幻觉。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。