用于自然语言形式化的分层一致性 蒸馏

通过结合 大语言模型 (LLM) 和符号求解器，神经符号推理在解决复杂推理任务方面取得了巨大的成功。虽然这种方法显示出希望，但仍然存在一个根本挑战：提高从自然语言到逻辑公式的翻译准确性。当前的方法主要依赖于即时工程，这很难跨不同领域和输入格式进行扩展。从 微调 在其他模型自适应和对齐应用中的成功中汲取灵感，我们提出了一种基于 微调 的分层一致性 蒸馏 方法：（1）我们使用前沿 LLM 为每个输入生成 K 个逻辑翻译，并通过语义等价对它们进行聚类（2）基于熵水平，我们应用多数投票（低熵）， LLM-as-a-Judge（中等熵），或统一/弃权（高熵），以及（3）使用选定的伪标签微调较小的模型。我们的实验表明 Pass@K 和我们新颖的等效逻辑相似性指标均取得了显着且一致的改进，证明了通过一致性 蒸馏 推进逻辑翻译的潜力。