Blackboard Intelligence 可以在全局约束问题上超越自回归

下一个标记预测推动了大语言模型的显着进步，但越来越多的证据表明，它们可能会在复杂的全局约束所控制的问题上陷入困境。在这项工作中，我们关注这个机制，并询问其中一些限制是否是由下一个词元预测本身引起的推理接口引起的。我们通过黑板智能来研究这个问题：一种推理时间视角，模型在固定的、可修改的画布上工作，并搜索候选解决方案状态，而不是遵循因果的、从左到右的轨迹。我们用扩散语言模型实例化这个想法，其任意顺序预测接口自然地公开了对部分填充的解决方案状态的预测。我们的主要观察结果是，平均置信度（可从标准掩模扩散目标获得的简单模型内部量）为全局一致性提供了有用的代理，并且可以指导推理时间搜索和修订。根据经验，在 ZebraLogic、护士排班和作业车间调度方面，Blackboard 持续改进推理，同时保持微调的 LLaDA-8B-Instruct 检查点固定，并且大大优于同规模自回归基线，在 ZebraLogic-Hard 上达到 90.4% 的准确度，在护士排班上达到 76.4% 的精确可行性，在 JSSP 上达到 80.2% 的最优性。更强大的自回归搜索和细化也无法缩小 ZebraLogic-Hard 上的差距，而 Blackboard 超越了那里和 JSSP 上经过测试的前沿 LLM，尽管它们的规模要大得多并且测试时推理能力更强。我们在 https://github.com/jwoosang1/blackboard-intelligence. 开源我们的代码库