作为高阶规划形式化器的语言模型

最近的研究提供了压倒性的证据，表明 LLM，即使是那些经过训练来扩展推理轨迹的人，随着问题变得更加复杂，规划能力也会迅速恶化。 LLM-as-Formalizer 旨在通过使用 LLM 作为桥梁，将自然语言描述转换为结构化规划表示（例如 PDDL），然后将其馈送到程序化求解器来解决此问题。我们观察到它的成功可能被夸大了，因为标准基准中的规划问题描述通常与 PDDL 具有一对一的映射，这偏离了实际用例。为了解决这个问题，我们引入了解决问题的概念，其中自然而简洁的描述转化为非常大的 PDDL 表示。使用四个标准规划域的详细变体，我们证明了 LLM 形式化器也不总是可扩展的。我们通过引入一种新范例 LLM-as-Higher-Order-Formalizer 来应对这一挑战，其中 LLM 生成一个高级程序，捕获描述中的循环逻辑，进而生成更大的 PDDL 表示。这将词元输出与底层形式化和搜索空间的组合爆炸解耦，从而提高复杂问题的性能。