RADAR：跨表示的相对角散度

机器学习方法依赖于数据。然而，由于可用性限制、成本或对领域专业知识的需求，收集合适的数据可能具有挑战性。使用其他来源扩展数据集是对有限数据的常见反应，但这种做法并不总是能提高下游性能，有时可能会导致性能损失，称为负迁移。我们提出了 RADAR，一种简单的、基于几何的度量，用于估计基础模型中的跨域可转移性。 RADAR 通过测量沿层间位移轨迹的角度对齐和距离的相对变化，并比较域内和跨域动力学的经验分布，来分析表示的逐层演化。我们假设域可转移性与这些轨迹分布之间的分歧有关。我们跨多种方式评估指标，包括使用文本嵌入模型的跨语言情感分类和使用基础视觉模型的跨域图像分类。在多种设置中，RADAR 提供了相对于多种视觉和文本基准上的现有可转移性指标而言具有竞争力的预测性能，当域转换平滑或清晰分离时，其结果尤其强劲。我们的消融进一步表明，可转移性估计的有效性取决于模型内部表示空间的几何形状，不同的模式有利于不同的拓扑公式。