论文
结合大语言模型与小语言模型的联合知识库补全与问答
Joint Knowledge Base Completion and Question Answering by Combining Large Language Models and Small Language Models
摘要
知识库（KB）在各类应用中发挥着关键作用。作为两项代表性的知识库相关任务，知识库补全（KBC）与知识库问答（KBQA）联系紧密且天然互补。因此，求解KBC与KBQA的联合任务、使二者相互促进将大有裨益。然而，现有研究通常仅依赖小语言模型（SLM）来联合增强这两项任务，忽略了大语言模型（LLM）强大的推理能力。本文结合LLM与SLM各自的优势，提出新颖框架JCQL，使这两项任务以迭代方式相互增强。为让KBC增强KBQA，我们将SLM训练得到的KBC模型作为智能体的一个动作，纳入基于LLM智能体的KBQA模型的推理路径中，从而缓解KBQA中LLM的幻觉与高昂计算成本问题。为让KBQA增强KBC，我们将KBQA的推理路径作为补充训练数据，对KBC模型进行增量微调，提升SLM在KBC上的能力。在两个公开基准数据集上的大量实验表明，JCQL在KBC和KBQA两项任务上均超越所有基线。
