论文

CaLR:面向鲁棒扩散推理的因果潜变量修订

CaLR: Causal Latent Revision for Robust Diffusion Reasoning

模型推理推理验证与自校正

摘要

自回归(AR)模型受困于局部贪心,而扩散语言模型(DLM)往往缺乏推理所需的严格因果结构。为兼取两者之长并克服各自弊端,我们提出因果潜变量修订(CaLR),一个将推理重构为受约束潜变量优化的框架。CaLR采用来自专家模型的因果拓扑矩阵(CTM)并结合隐式微分,执行梯度引导的思维修订以强化逻辑一致性,实现并行生成过程中间步骤的动态自校正。实验上,CaLR在复杂基准上取得DLM的SOTA性能,超越强AR基线,并在数独等受约束任务中展现出更优的鲁棒性。

CaLR:面向鲁棒扩散推理的因果潜变量修订:论文配图
图 1:AR、DLM 与 CaLR 的区别:AR 模型受单向约束的限制,DLM 无视因果先验,而 CaLR 将因果元知识显式注入潜空间,为推理捕捉内在的逻辑一致性。