论文

REAP:LLM 闭卷知识库构建的关系感知引出和解析

REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs

模型推理推理策略与问题分解

摘要

我们为 AKBC 2026 共享任务提出了 REAP 系统,该系统在闭门设置中根据语言模型构建知识库,预算最多为 32B 个参数,并且没有模型 微调。我们的系统结合了结构化思想链推理、特定于关系的查询策略和基于推理的空集门来引出参数知识,然后直接提取到有效的 JSON 数组中。在测试集上,基于 Mistral-Small-24B-Instruct-2501 模型构建的系统获得了 0.62 的宏观 F1 分数,其中在countryLandBordersCountry (F1 = 0.95)、companyTradesAtStockExchange (F1 = 0.73) 和 hasArea (F1 = 0.77) 上的结果尤其强劲。我们的代码可在 https://github.com/yammdd/AKBC-Shared-Task-2026 上公开获取。