可靠问答的知识依赖性估计

可靠的问答不仅需要确定答案是否正确，还需要确定预测依赖于哪些可用知识。在现实的基于 LLM 的 QA 中，这些知识可能来自上下文、检索、分解或中间推理，形成嘈杂且冗余的候选空间，而不是干净的黄金证据集。我们研究 \emph{知识依赖估计}：估计固定黑盒 QA 模型对不同候选知识单元的敏感性。面临的挑战是在对冗余、可替代性和互补性进行建模的同时，在没有详尽的测试时间扰动的情况下获得细粒度的依赖性分数。我们提出 \textbf{Knot}，一种结构化的排名感知知识依赖估计器。 Knot 从子集级反事实监督中学习，通过覆盖潜在依赖因素对子集敏感性进行建模，并得出排名感知单元分数以识别有影响力的候选人。在多项选择和生成 QA 基准测试中，Knot 在子集敏感性预测方面优于所有比较的基线，并且比无需额外 QA 模型调用的可部署基线产生更忠实的单元排名；当用于实际风险筛查时，其依赖性评分有助于及早标记容易出错的 QA 预测。