超越视觉相似性：基于知识的视觉问答的实体对齐检索

基于知识的视觉问答（KB-VQA）依赖于检索外部信息来回答涉及长尾实体的查询。然而，现有的检索管道主要采用 CLIP 式的双编码器，其优先考虑表面级视觉相似性而不是实体级语义对齐。当语义相同的概念表现出较大的视觉变化或不同的实体在视觉上相似时，这种范例通常会失败。为了解决这个问题，我们提出了 KBMR，这是第一个为 KB-VQA 量身定制的基于 MLLM 的嵌入 检索器。利用 MLLM 强大的自回归功能，KBMR 将图像映射到更好地保留概念同一性的语义空间中。为了解决维基百科规模检索中噪声监督的挑战，我们引入了一种基于 MLLM 的语义鉴别器，它可以生成连续的实体一致性权重。这些权重指导新颖的连续语义 蒸馏 目标，实现超越严格二进制标签的有效硬负采样和软监督。大量实验表明，KBMR 显着优于 CLIP 基线，检索 Recall@1 提高了 14.7%，端到端 VQA 准确率提高了 9.4%。代码可在 https://github.com/realHarryX/KBMR 获取。