CritICL：利用小模型失败模式提升大模型推理

推理时间缩放方面的最新进展显着提高了 大语言模型 (LLM) 的推理性能。然而，这些方法通常依赖于重复生成或外部验证。为了解决这个限制，我们引入了 CritICL，这是一种新颖的推理时间框架，可以在保持高效率的同时改进推理。我们的主要见解是，LLM 故障模式在同一系列内的模型规模上表现出结构化模式。 CritICL 没有将失败视为不良输出，而是将其作为指导来源。具体来说，我们利用源自较弱模型的故障模式，并通过基于批评的上下文示例将它们纳入推理中。我们提出了两种变体：CritICL-dynamic，它自适应地预测输入特定的故障模式并检索批评；CritICL-static，它使用全局故障模式配置文件来提供稳定的指导。实验结果表明，CritICL 始终优于标准的上下文学习，并实现了与测试时间扩展方法相媲美或优于测试时间扩展方法的性能，同时需要显着减少的生成次数和更低的词元成本。代码位于：https://github.com/umwyf/CRITCL