论文

ChronoQG:面向时态知识图问题生成的时态表达和跳跃限制基准

ChronoQG: Towards a Temporally Expressive and Hop-Bounded Benchmark for Temporal Knowledge Graph Question Generation

模型评测基准与评测资源

摘要

知识图问题生成(KGQG)旨在从结构化图证据生成自然语言问题。然而,现有的 KGQG 基准大多建立在静态知识图的基础上,并且没有对图事实的时间范围进行编码。因此,他们无法评估生成的问题是否忠实地保留时间有效性、事件排序和答案确定时间约束。在本文中,我们研究时间知识图问题生成(TKGQG),其中生成的问题必须忠实于支持子图和识别目标答案所需的时间约束。我们提出了 ChronoQG,这是 TKGQG 的第一个时间表达和跳跃范围的基准构建框架。 ChronoQG 集成了全面的时间约束分类、拓扑时间子图采样和基于轨迹的问题生成来构建时间忠实的问题。该框架从异构时间知识图生成四个基准数据集,总共 16,011 个经过验证的问题。我们评估基于 LLM 的代表性 KGQG 方法,并在不同的 TKGQG 设置中提示基线,包括时间约束计数、拓扑模板和时间约束类型。结果表明,现有方法很难保留时间约束,特别是在多约束设置和较难的时间约束类型下。这些发现揭示了静态 KGQG 和 TKGQG 之间的明显差距,并将 ChronoQG 确立为时间忠实问题生成的具有挑战性的测试平台。