无监督多模态实体链接的多视角证据合成与推理

多模态实体链接 (MEL) 是数据管理中的一项基本任务，它将具有不同模态的模糊提及映射到知识库中的多模态实体。然而，大多数现有的 MEL 方法主要侧重于优化以实例为中心的特征和证据，而没有充分探索更广泛的证据形式及其复杂的相互依赖性。受人类专家决策过程依赖于多视角判断这一观察的启发，在这项工作中，我们提出了 MSR-MEL，一种用于无监督 MEL 的带有 大语言模型 (LLM) 的多视角证据合成和推理框架。具体来说，我们采用两阶段框架：（1）离线多视角证据合成构建一套全面的证据。这包括捕获以实例为中心的提及和实体的多模态信息的以实例为中心的证据、聚合邻域信息的组级证据、基于字符串重叠率的词汇证据以及基于简单汇总统计的统计证据。我们框架的核心贡献是群体级证据的综合，它通过图表有效地聚合了重要的邻里信息。我们首先构建 LLM 增强的上下文图。随后，通过不对称的师生图神经网络联合对齐不同的模式。 （2）在线多视角证据推理利用LLM作为推理模块的强大功能来分析多视角证据的相关性和语义，从而得出有效的排序策略，以在无监督的情况下实现准确的实体链接。对广泛使用的 MEL 基准进行的大量实验表明，MSR-MEL 始终优于最先进的无监督方法。本文的源代码位于：https://anonymous.4open.science/r/MSR-MEL-C21E/。