GeoRisk-RAG：通过选择性应答提高 RAG 可靠性的层次结构感知风险框架

当前提高 大语言模型 (LLM) 生成答案的可靠性的工作主要利用检索增强生成 (RAG)、知识图增强和强化学习。虽然这些方法擅长通过语义相似性和 忠实性 来增强和测量可靠性，但它们常常难以区分语义相似性和地理有效性。这在自然灾害管理领域尤其重要，其中地理粒度（即城镇、城市、州）对于决策至关重要，因为在一个城市有效的响应可能不会转移到另一个城市。在这些领域，自信错误的答案比弃权的风险更大。我们提出了 GeoRisk-RAG，这是一种新颖的层次结构感知框架，它通过选择性回答来解决这种地理有效性差距。该框架使用基于有向无环图 (DAG) 的距离在响应生成之前进行上下文检索来明确估计地理适用性。在一个新颖的与野火相关的问答 (QA) 数据集上进行的实验表明，GeoRisk-RAG 显着降低了位置相关问题的错误置信率，将标准语义相似性和重新排序基线的错误置信率降至 0.009，而标准语义相似度和重新排序基线的错误置信率约为 0.090，同时始终实现更高的人类偏好对齐。这项工作通过集成地理有效性和选择性回答行为，对端到端 RAG 管道进行更全面的评估，以便在地理空间领域做出更安全的决策。