局部去噪作为语义形态的分解

生成模型的动态表现出两个明显不同的时间窗口：物种形成窗口，其中样本属于语义类；以及非局部性窗口，其中局部上下文窗口不足以生成。在各种前沿模型中它们几乎同时存在的证据的推动下，我们通过语义信息的空间分布来研究它们的关系。在“共因”假设下，我们证明非局域性窗口必须位于物种形成窗口内。该假设假设语义标签解释了遥远标记之间的一小部分相关性，这对于许多真实数据集来说是自然的条件。我们进一步给出了随着系统规模的增长两个窗口收缩到单个限制时间的条件，定义了“相变”，并在高斯混合中分析验证了这种行为。总之，这些结果确定了语义信息解释物种形成和非局域性同时存在的条件，将生成建模中语义结构出现的两种互补观点联系起来。