时间解析的词元归因揭示了扩散语言模型的生成动态

这项工作提出了扩散层积分梯度（DLIG），这是一种用于扩散语言模型（DLM）的标记归因方法，它将积分梯度（IG~\cite{sundararajan2017axiomatic}）扩展到任意层和去噪步骤。 DLIG对DLM在输入提示下逐渐确定自行生成或固定补全文本的过程进行归因。我们在 DLIG 和 IG 公理的完整性、实现不变性、线性和对称性保持之间建立了直接对应关系。作为介入分析的轻量级补充，DLIG 提供了跨降噪轨迹的机制假设的首次检查，成本低廉。我们在词义消歧、多跳图推理和句子填充上演示了这一点，揭示了 DLM 如何跨位置、层和去噪步骤利用输入。