GRADE：以梯度子空间动态识别大模型知识缺口

检测模型的内部知识是否足以正确回答给定问题是部署负责任的 LLM 的基本挑战。除了通过 LLM 自我报告来表达置信度之外，最近的方法还探索模型内部结构，例如响应标记的隐藏状态，以捕获有多少知识被激活。我们认为，这种激活的知识可能与查询所需的内容不一致，例如，捕获对于回答查询来说没有信息的风格和长度相关的特征。为了填补这一空白，我们提出了GRADE（GRAdient Dynamics for KnowledgeEdge GapDetection），它通过梯度与相应隐藏状态子空间的跨层秩比来量化知识差距。这是由梯度作为给定目标所需知识更新的估计器的属性所激发的。我们在六个基准上验证 GRADE，证明其对输入扰动的有效性和鲁棒性。此外，我们还提出了一个案例研究，展示梯度链如何在长篇答案中生成对知识缺口的可解释说明。代码可在 https://github.com/yjEugenia/llm-aware 获取