黎曼流形和统计流形上神经表示的几何感知相似性度量

相似性度量广泛用于解释神经网络用于解决任务的表征几何。然而，由于现有方法比较状态空间中表示的外在几何形状，而不是其内在几何形状，因此它们可能无法捕获根本不同的神经网络解决方案之间微妙但至关重要的区别。在这里，我们介绍度量相似性分析（MSA），这是一种利用黎曼几何工具来比较流形假设下神经表示的内在几何的新颖方法。我们证明 MSA 可用于 i) 解开具有不同学习机制的深度网络中神经计算的特征，ii) 比较非线性动力学，以及 iii) 研究扩散模型。因此，我们引入了一个以数学为基础且广泛适用的框架，通过比较神经计算的内在几何结构来理解神经计算背后的机制。