从层到网络：通过扩散几何比较神经表示

扩散几何是一种流形学习框架，它使用由马尔可夫转移矩阵定义的随机游走来表征多个尺度的数据集的几何形状。我们使用扩散几何进行神经表示，首次将多视图学习的工具纳入该领域。我们的关键技术观察是，基于代表性相似矩阵（RSM）的一类广泛的相似性度量承认行随机马尔可夫矩阵方面的封闭形式等效公式，为扩散几何的操作打开了大门。作为第一个应用，我们开发了中心核对齐和距离相关的多尺度变体，它利用底层转换矩阵的 $t^{th}$ 幂来探测可调节扩散尺度的数据几何形状。更进一步，我们引入了这些措施的变体，通过交替扩散将多个层的马尔可夫矩阵融合到捕获网络联合样本几何形状的单个算子中，从而允许跨多个层计算相似性，并将比较从层到层转移到网络到网络。我们进行了广泛的数值实验，评估了我们在表征相似性 (ReSi) 基准上的测量结果，该基准包括在三个不同领域的 7 个数据集上训练的 14 种架构。我们的方法在不同模型的语言和视觉任务的准确性和输出相关性方面实现了 SoTA 结果。我们还在评估分布外数据的附加基准上展示了 SoTA 性能。