超越分类器的模式连接：来自生成模型和对比模型的证据

深度神经网络 (DNN) 的损失情况表现出高度复杂和非凸的特性。最近的研究揭示了模式连接现象，证明独立训练的网络模式可以通过连续的低损耗路径连接。然而，现有的模式连通性研究主要局限于基于分类器的模型，这使得现代复杂模型中是否存在相似的几何属性仍然是一个悬而未决的问题。在本文中，我们将模式连接的边界扩展到生成域和对比域（特别是 DDPM 和 NanoCLIP）。针对 DDPM 和 CLIP 的独特架构，我们提出了一种架构感知的连接构建算法。大量的实证结果首次证明我们成功地发现了独立训练的 DDPM 和 NanoCLIP 模式之间的模式连接。我们的工作为理解现代生成和对比模型中损失景观的几何特性提供了一个新颖的视角。