CARVE：面向扩散语言模型可变长度生成的可验证扩展

掩蔽扩散语言模型从部分观察的响应画布中预测标记，从而实现双向调节和并行标记细化。然而，标准掩码扩散解码器使用严格的推理接口：分配给答案的掩码位置的数量在生成开始之前是固定的。选择这个长度很困难。短画布可能会截断推理或代码，而长画布会浪费计算并可能扰乱去噪。我们引入了 CARVE（具有验证扩展的反事实感知揭示），这是一种用于掩模扩散 LM 的免训练可变长度算法。从较短的画布开始，CARVE 可以通过插入额外的 [MASK] 位置来增加解码期间的响应。 CARVE 不是保留每个插入，而是测试候选扩展画布并提出一个反事实问题：如果存在额外的屏蔽空间，模型是否会对原始画布中未解决的位置做出类似的预测？仅当插入的掩模在对齐的未解析位置上引起低 Jensen-Shannon (JS) 散度时，才会保留插入的掩模。这使得长度增长成为经过验证的稳定性决策，而不是纯粹的置信启发式决策。 CARVE 无需重新训练即可适用于全画布和块扩散解码器。在代码生成和数学推理基准测试中，CARVE 在所有评估的模型系列中持续提高了固定长度基线的平均性能。至关重要的是，CARVE 在降低推理成本的同时实现了这些准确性提升，在某些设置中达到了固定长度解码的一半。