概率思维纲领

LLM 广泛用于需要生成结构化输出的代码生成和数学推理任务。他们要么需要推理代码，为给定的规范生成代码，要么使用思维程序进行推理。代码生成的典型方法是提示模型并生成样本，直到获得合适的程序。在此过程中，从语言模型中采样 $n$ 程序需要 $n$ GPU 计算密集型生成，对于较大的 $n$ 值来说，这变得极其昂贵。在这项工作中，我们通过在生成的程序本身中公开 LLM 的分布来解决此限制。我们提出了一种新颖的测试时间框架，我们将其称为概率思维程序，以通过更少的 LLM 代从模型中获取更多样本。给定一个由模型生成的程序和相关的下一个词元概率，我们构建一个概率程序，它可以紧凑地表示指数级的许多确定性程序。由于在此概率程序中执行概率推理要便宜得多，因此我们的方法允许对新程序进行采样，而无需任何额外的 GPU 计算和很少的 CPU 开销。我们在代码生成、代码理解和数学推理的基准上实例化了我们的方法，并报告了 LLM 的性能改进。