论文

仅两个样本的自一致性:用于高效 LLM 推理的 CoT-PoT 集成

Self-Consistency from Only Two Samples: CoT-PoT Ensembling for Efficient LLM Reasoning

模型推理测试时计算扩展

摘要

自一致性(SC)是一种通过聚合多个采样输出来提高 大语言模型 推理精度的流行技术,但由于大量采样,其计算成本很高。我们引入了一种混合集成方法,该方法利用两种不同推理模式的互补优势:思维链(CoT)和思维程序(PoT)。我们描述了一个将这两种形式的推理结合起来的通用框架,以及完全采样和提前停止的特定策略。我们表明,CoT-PoT 集成不仅提高了整体精度,而且还将 SC 所需的样本数量大幅减少了 9.3 倍。特别是,大多数任务(78.6%)只需两个样本即可解决,这是任何先前的 SC 方法都无法实现的。