使用大语言吉布斯进行结构化推理

大语言模型 (LLM) 中编码的知识可以作为对描述复杂世界的变量进行结构化推理的基础，但以概率一致的方式访问这些知识会带来困难的推理问题。我们提出了大语言吉布斯（Large Language Gibbs），这是一种使用 LLM 的条件分布作为转移算子的结构化概率推理方案。我们不是通过单遍自回归生成对结构化对象进行采样，而是使用 LLM 的下一个标记条件对以其他变量为条件的各个变量进行迭代重新采样。这种方法避免了顺序相关的偏差，并产生反映所有局部条件之间折衷的平稳分布。我们将这种方法应用于从合成分布、一致推理任务和贝叶斯结构学习中进行采样。结果表明，在 MCMC 中使用 LLM 条件是在可通过嘈杂的 LLM 条件访问的世界先验下进行结构化概率推理的单遍生成的实用替代方案。