流语言模型的高效推理

流语言模型（FLM）已成为离散扩散语言模型的连续状态替代品，但其连续表示在推理中的作用仍不清楚。我们通过比较 FLM 和离散扩散模型的推理效率来研究这个问题，通过匹配去噪步骤下的解精度来衡量。与在去噪步骤之间传递分类状态的离散扩散不同，FLM 在整个去噪过程中演化出连续的序列表示，并仅在最后将其解码为离散标记。我们的理论分析表明，从叠加的角度来看，保留在这些连续状态中的信息如何有利于推理。中间状态干预为这一理论解释提供了进一步的实证支持，表明删除有关替代候选者的信息会减少后续解决方案的恢复。总之，这些发现表明，FLM 允许多个候选者的证据持续存在，并在产生离散答案之前为后续推理提供信息。此外，我们在迷宫规划和数独任务上的实验表明，FLM 在少步方案中实现了更高的推理效率：在匹配的模型大小和小的去噪步骤下，FLM 比离散扩散基线实现了更高的序列精度。在迷宫规划任务中，FLM 也可以使用较小的模型达到相当的精度。例如，在 Maze15 上，FLM 通过 64 个降噪步骤达到 95% 的准确度目标，参数比 MDLM 少 36.5%。这些发现表明连续状态空间是需要较少细化步骤的推理模型的有希望的基础。