测量扩散语言模型中的时间语言出现

扩散语言模型揭示了明确的去噪轨迹，使得可以询问不同类型的信息在生成过程中何时变得可测量。我们研究了 LLaDA-8B-Base 在屏蔽 WikiText-103 文本上的三个独立的 32 步运行，每个运行都有 1{,}000 个探针训练序列和 200 个保留评估序列。从保存的轨迹中，我们得出四个时间测量：词元确定时刻；词性（POS）、粗略语义类别和标记标识的线性可恢复性；置信度和熵动力学；和中轨迹重新掩蔽下的灵敏度。在种子中，相同的顺序会重复出现：内容类别比功能重的类别更早稳定，词性和粗略语义标签在我们的探针设置下比精确的词汇同一性保持明显更线性的可恢复性，即使后期置信度变得不太校准，最终错误解析的标记的不确定性仍然较高，并且扰动敏感度在轨迹中间达到峰值。直接/附带分解表明，该峰值绝大多数位于扰动头寸本身的局部。因此，在这种 LLaDA+WikiText 设置中，去噪时间是一个有用的分析轴：根据我们的测量，粗标签比词汇同一性更早、更稳健地恢复，轨迹级不确定性跟踪最终的正确性，而中间轨迹状态对干预最敏感。