论文
选择,而不是训练:使用基于 LLM 的选择进行模块化实体消歧的好处
Select, Don't Train: The Benefits of Modular Entity Disambiguation with LLM-Based Selection
摘要
实体消歧(ED)是构建和使用知识图谱的关键任务。最先进的神经方法通常将 ED 建模为一项任务,尽管它由两个不同的子问题组成:检索候选实体并选择正确的给定上下文。双编码器模型在共享嵌入空间内对两者进行优化,迫使表示在高召回率检索与细粒度选择之间取得平衡,并且它们需要训练有素的 检索器,随着知识图的变化,维护成本很高。虽然最近的工作已经开始将 检索器 与基于 LLM 的选择器结合起来,但这两个阶段之间的相互作用尚未得到系统研究。在本文中,我们对基于共享 LLM 的选择阶段下候选生成的检索策略进行了系统比较,结合了稀疏检索(BM25)、Web KB 搜索和最先进的训练密集 检索器 以及几个开源和闭源 LLM。我们表明,一旦将选择委托给有能力的 LLM,训练 检索器 仅提供适度的附加价值:与 LLM 选择器配对的完整 无需训练 BM25 检索器 在 ZELDA 基准上达到了新的最先进水平,将 inKB micro-F1 从 82.3 提高到 86.3 (+4);将相同的 LLM 与经过训练的密集 检索器 配对达到 88.5。将检索与选择分离还暴露了当前 ED 系统的局限性:当检索到的候选者中缺少正确的实体时,它们被迫预测错误的实体。相反,我们的框架允许在检测到检索失败时弃权。在奖励正确弃权的评估设置中,无需训练 BM25 + LLM 管道达到 90.7 F1。