论文
离散难度就足够了吗？ LLM中利用连续困难实现高效自洽
Is Discrete Difficulty Sufficient? Leveraging Continuous Difficulty for Efficient Self-Consistency in LLMs
摘要
自一致性（SC）是一种解码策略，可以对不同的推理路径进行采样并选择最一致的答案，在复杂的推理问题上表现出强大的性能。然而，由于生成多个推理路径而导致的过度词元消耗已被认为是 SC 的主要限制。为了提高计算效率，一些研究提出了根据问题难度调整推理路径数量或差异分配资源的策略。然而，大多数现有方法将难度分为几个固定的级别，未能充分捕捉推理复杂性的不断变化的性质。在这项工作中，我们提出了灵活的自我一致性（FSC），它将问题难度估计为连续信号，并相应地动态调整生成的推理路径的数量。 FSC 使用预先训练的探针预测输入问题的输出熵，并将其用作模型不确定性的指标，以灵活控制采样预算。实验结果表明，在各种模型和基准中，FSC 保持了与 SC 相当的准确性，同时实现了高达 76% 的词元节省。