TimeROME-DLM：掩蔽扩散语言模型的时间因果追踪和低秩推理时间知识编辑

LLaDA 等掩码扩散语言模型 (MDLM) 现在可以与自回归 (AR) LLM 相媲美，但现有的所有知识编辑和遗忘方法（ROME、MEMIT 等）都以 AR Transformer 为目标，要么做出在迭代去噪下失败的假设，要么需要梯度更新，其后向传递激活会花费数十 GB 的额外 VRAM，并且会在标准学习速率下崩溃 MDLM。我们推出了 TimeROME-DLM，这是第一个用于 MDLM 的 无需训练、无梯度、推理时间知识编辑框架。它耦合了两个组件：一个时间间接效应（TIE）因果追踪协议，该协议为每个事实识别出其干预最有力地驱动后续去噪步骤中的对象预测的坐标；以及一个封闭形式的低秩残余编辑记忆，它聚合所有遗忘事实中的主题键和目标增量，并在每次扩散前向该坐标处应用单个岭正则化更新，并通过稀疏化来限制效用溢出。主干权重保持冻结状态；在较小的验证分割上仅调整了三个超参数（alpha、lambda、q）。在采用 TOFU 微调的 LLaDA-8B-Base 的 TOFU忘记01 上，TimeROME-DLM 将忘记设置对数概率减少了大约 83 个纳特。相同的配置适用于 LLaDA-8B-Instruct、Dream-7B、MMaDA-8B、DiffuLLaMA-7B 和 LLaDA-MoE-1.4B。它在 50 个连续插入的事实中保持保留集对数概率几乎平坦（在实用安全操作点上约为 1 nat 内），在最强的聚合训练时间基线上以零附加 VRAM 提供四到十四倍的挂钟加速，并以次线性方式扩展到 400 个事实。 TimeROME-DLM 以一小部分计算成本缩小了 AR LLM 和 MDLM 之间的定位然后编辑差距。