论文

AMBER:列表式视觉语言重排的多视角自适应预算分配

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

上下文与知识检索增强

摘要

视觉-语言模型(VLM)是多模态检索的强大列表式重排器,但高推理成本限制其只能评估小的局部候选视图。现有多调用策略依赖固定调度,把昂贵的VLM调用浪费在无信息量的候选对与简单查询上。为此我们提出自适应多视角预算化Elo重排(AMBER),一个在线、预算化的多视角重排框架,动态优化全局资源分配。AMBER把碎片化的列表式VLM输出视为局部锦标赛,以连续Elo更新维护轻量全局排序状态;在此基础上两级分配计算:动态构造分数歧义高的候选视图,以及以最大化期望信息增益调度查询。我们证明每次Elo更新对应Bradley-Terry对数似然上的一次随机梯度上升,并为查询级分配策略提供次模信息论动机。CIRR、CIRCO与PhotoBench实验显示:在可比VLM调用预算下,AMBER在所比较多调用VLM重排方法中整体最强,低预算下仍保持有效。代码/项目页:https://github.com/wnlfc/AMBER。