大语言模型的知识边界发现

我们提出知识边界发现（KBD），一个基于强化学习的框架，用于探索大语言模型（LLM）的知识边界。我们通过自动生成两类问题来定义知识边界：(i) LLM 能够自信回答的问题（知识边界内），以及 (ii) 它无法回答的问题（知识边界外）。由于幻觉现象，迭代探索与利用 LLM 的响应以找到其知识边界具有挑战性。为找到 LLM 的知识边界，智能体在把该过程建模为探索部分可观测环境的框架下与 LLM 交互。智能体生成渐进式问题作为动作，采用熵减作为奖励，接收 LLM 的响应作为观测并更新其信念状态。我们证明 KBD 能够通过自动找到一组非平凡的可行与不可行问题来检测 LLM 的知识边界。我们通过将 KBD 生成的知识边界与人工构建的 LLM 基准数据集比较来验证 KBD。实验表明，我们 KBD 生成的问题集与人工生成的数据集相当。我们的方法为评估 LLM 开辟了新途径。