论文
学习如何立方体
Learning How to Cube
摘要
尽管立方与征服 (C&C) 对于解决具有挑战性的布尔可满足性 (SAT) 问题非常有效,但之前的工作尚未表明基于 Transformer 的模型可以学习有效的立方启发式。我们为此任务引入了一个神经符号 后训练 框架。我们设计了一个基于 MCTS 的数据管理管道,它使用符号启发式方法来探索 SAT 竞赛公式的分裂决策,生成基于求解器统计数据的偏好数据,并通过教师模型的推理轨迹进行增强。我们的两阶段 后训练、有监督的 微调 (SFT) 和直接偏好优化 (DPO),使 4B 参数模型能够在 100 个 SAT 竞赛基准上获得 53 分的 pass@5 分数,超越前沿 LLM,如 Claude-Sonnet-4 (50) 并匹配最佳符号启发式 (53)。消融显示,仅 SFT 将 pass@5 从 46 提高到 51,DPO 增加了 2 个额外的基准;对已实现的第一立方体决策的熵/协议消融进一步表明,SFT(而不是 DPO)解释了根级决策多样性,该多样性在确定性符号方法上产生互补的每次运行覆盖。这表明 Transformer 可以经过训练,在传统上由符号方法主导的领域中做出有效的立方决策。