我缺少什么？问答作为隐藏状态探测

自从 大语言模型 (LLM) 中引入思想链推理以来，测试时推理已成为一个重要的研究领域。然而，这种推理过程的机制仍未得到充分探索——从相同的输入提示，甚至相同的部分解决方案，如果多次采样，LLM 可以产生不同的答案。我们建议利用提问作为推​​理时间干预，阐明有关模型隐藏状态的信息。为了实现这一目标，我们提出了一个学生-老师的环境，学生可以向老师提问。我们在提出问题之前和之后对学生的隐藏状态进行了训练，发现它甚至可以在生成教师答案之前预测轨迹的最终正确性。这表明在问题生成过程中发生的自我诊断产生了有意义的信号，而不是来自老师的信息传递。然后，我们将提问视为一个顺序决策问题，使用此探针作为质量分数，并定义门控策略来提出问题，以最大化正确性的可能性。我们发现提问作为干预措施的成功很大程度上取决于模型的自我一致性。我们的实证结果表明检测和恢复之间存在差距；虽然我们的门控政策捕获了模型的正确性和不确定性，但干预措施同样可能损害正确的轨迹，因为它们会恢复不正确的轨迹。诊断和纠正之间的差距对于语言模型在不确定性下的自我完善能力具有更广泛的影响。