论文

PRISMR:经参数化表示克服多模态列表式排序中的解析坍缩

PRISMR: Overcoming Parse Collapse in Multimodal Listwise Ranking via Parameterized Representation Internalization

模型架构新型架构

摘要

使用大型多模态模型 (LMM) 的生成列表排序旨在在单次前向传递中捕获全局列表上下文,但其有效性在长上下文多模态场景中会降低。我们确定了一种反复出现的失败模式,即解析崩溃,其中自回归解码器通过默默地忽略候选者并提前终止来产生流畅但不完整的排名。这种失败源于有限的上下文利用率,而不是简单的格式错误,从而导致即时工程和受限解码不足。我们提出了 PRISMR(语义多模态排名的参数化表示内部化),这是一个用参数结构条件代替瞬态上下文列表处理的框架。 PRISMR 使用轻量级超网络并行编码多模态候选并生成特定于项目的 LoRA 权重,这些权重被合成到 LMM 的特定于实例的适配器中。这种范例可以在保留基本模型的同时实现更强大的列表结构内部化。我们进一步引入了大规模多模态评论排名基准进行评估。实验表明,PRISMR 大大减少了解析崩溃,提高了列表排序性能,并有效地跨域和指令调整的骨干网进行传输。

PRISMR:经参数化表示克服多模态列表式排序中的解析坍缩:论文配图
图 1:传统的生成列表排序将所有多模态候选输入到解码器上下文中,随着列表的增长,导致注意力稀释和解析崩溃。