HOME-KGQA：家庭日常活动多模态知识图谱问答基准数据集

摘要

大语言模型（LLM）提供灵活的自然语言处理能力，而知识图谱（KG）提供显式的结构化知识。以互补的方式整合这两者可以开发可靠且可验证的人工智能系统。特别是，知识图问答（KGQA）作为减少 LLM 幻觉和利用训练数据之外的知识的手段而引起了人们的关注。然而，现有的KGQA基准数据集偏向百科全书式知识，仅限于单一模态，缺乏细粒度的时空数据，这限制了它们对Embodied AI针对的现实场景的适用性。我们介绍 HOME-KGQA，这是一个基于日常家庭活动的多模态 KG 构建的新型 KGQA 基准数据集。 HOME-KGQA 由复杂的多跳自然语言问题与图数据库查询语言组成。与现有基准相比，它包含更具挑战性的问题，涉及多层次时空推理、多模态基础和聚合函数。实验结果表明，在 HOME-KGQA 上评估时，基于 LLM 的 KGQA 方法无法实现与现有数据集相当的性能。这凸显了 KGQA 系统实际部署应解决的重大挑战。我们的数据集可在 https://github.com/aistairc/home-kgqa 获取