论文

TELLER:表实体链接的双路径迭代偏好优化

TELLER: Dual-Path Iterative Preference Optimization for Table Entity Linking

模型训练偏好优化

摘要

表中的实体链接将简短且不明确的单元格提及与其相应的知识库实体相匹配。现有的方法通常依赖于数据预处理管道,该管道保留紧凑或广泛的表格内容作为上下文证据,然后将实体链接制定为指令调整模型的语言生成任务;最近的系统进一步结合了明确的推理来消除具有挑战性的提及的歧义。然而,它们的训练监督通常是静态的:固定的偏好数据无法适应不断发展的模型的残余误差,而推理长度的变化可能会使序列级偏好学习产生偏差。为了解决这些限制,我们提出了 TELLER:通过从错误和推理中学习来进行表实体链接。我们首先检索维基数据候选者并对其进行排名,并在提示中保留简化的表格证据。直接答案路径应用迭代直接偏好优化,并使用更新模型中的残余误差刷新其偏好数据。推理路径使用经过过滤和压缩的思想链原理来进行监督 微调,然后是我们的迭代长度归一化正则化偏好优化。在 TableInstruct 实体链接子集上,直接答案路径将准确率从 94.35\% 提高到 94.50\%;在MammoTab V2评估集上,准确率从87.59%提高到88.20%。该推理路径将 TableInstruct 上的准确率从 92.90% 提高到 92.95%,将 MammoTab V2 上的准确率从 79.09% 提高到 81.85%,同时保持较高的完整推理生成率。这些结果表明,迭代偏好学习有利于简洁的实体预测和显式推理。