答案探测引导的搜索：探索大语言模型的多样化解法

生成多种多样化的高质量解决方案对于许多应用都很有价值，例如代码测试生成和药物发现。然而，大语言模型 (LLM) 在推理过程中倾向于收敛于单个高置信度解决方案，从而限制了对替代有效解决方案路径的探索。现有的测试时方法通过树状搜索促进多样性，并使用响应级语义嵌入修剪语义相似的分支。然而，我们发现这种嵌入很容易被语言和风格上的相似性所混淆，从而很难区分真正不同的解决方案路径。为了解决这个问题，我们引入了答案探测，它可以探测LLM从中间推理路径得出的潜在答案。我们证明，探测答案的隐藏状态比语义嵌入更有效地区分不同的解决方案路径，并且探测答案的困惑度可以作为推理正确性的实际代理。基于这些发现，我们提出了答案探测引导树搜索（APTS），它通过探测答案的隐藏状态相似性和困惑度来指导树搜索。对两个LLM的三个推理任务进行的实验表明，APTS 持续增强了解决方案的多样性，证明了其有效性和鲁棒性。