论文
GeoOutageBench：用于多模态断电和弹性分析的模糊感知、基于本体的地理时空 KGQA 基准测试
GeoOutageBench: Benchmarking Ambiguity-aware, Ontology-grounded Geospatiotemporal KGQA for Multimodal Power Outage and Resilience Analysis
摘要
我们引入了 GeoOutageBench，这是一个用于评估基于 LLM 的地理时空 KGQA 的基准，用于多模态中断和弹性分析。与现有的 Web 知识 KGQA 基准不同，GeoOutageBench 考虑了一种时空知识图谱，它集成了来自停电记录、遥感、天气观测、风暴和电力事件、地理实体和领域本体的视觉、文本和结构化数据。它提供了不同难度级别的能力查询分类法，从时空遏制和接近、时空共现分析、多模态证据到假设评估。在多模态 KG 和查询类上，GeoOutageBench 提供了对三个重要、高度一致但研究较少的任务的用户可配置评估：(1) 大语言模型对 NL 到 SPARQL 解释方面模糊地理时空问题的理解，(2) 查询驱动的本体实用性评估，以及 (3) 多模态 KGQA 检索的答案准确性。 GeoOutageBench 为评估支持现实世界基础设施弹性分析的 LLM-KG 系统提供了设计原则和基础。我们的基准测试、源代码、数据、结果和其他文档可在 https://github.com/UCF-SAGE/GeoOutageBench. 上获取