掩蔽语言模型上的格劳伯动力学混合时间

掩码语言模型（MLM）定义了标记上的局部条件分布，但通常不对应于序列上的任何一致的联合分布。这就提出了一个基本问题：当这些条件被迭代地用于生成时，会引发什么全局分布行为？我们通过将迭代屏蔽词元重采样建模为词元序列离散空间上的格劳伯动力学马尔可夫链来解决这个问题。我们首先证明传销条件本质上是不兼容的：我们引入了一个矩形测试来证明这种不兼容性，并凭经验验证其在现代传销中的普遍性。然后我们提供了诱导马尔可夫链的理论分析。在有限的跨词元影响下，我们建立了一个高温收缩结果，意味着 $O(n\log n)$ 混合时间，其中 $n$ 是序列长度。相比之下，我们证明在均匀的局部边缘条件下，该链表现出亚稳定性，在低温下以指数方式缓慢逃离语义盆地。根据经验，我们证明了混合行为中的相变作为温度和序列长度的函数，与理论预测一致。我们通过语义轨迹进一步表征诱导的静止行为，识别持久结构，例如长期陷阱和经常出现的语义盆地，并将政治内容作为可衡量的案例研究。