回顾后 GCN 十年：关系学习的曲率​​分层评估

当前关系学习中的评估实践在很大程度上依赖于扁平排行榜，该排行榜在异构数据集上平均表现，隐含地假设统一的底层结构。我们表明，这种假设引入了系统偏差：它掩盖了几何相关的性能变化，并可能导致关于模型泛化的误导性结论。在这项工作中，我们将内在几何形状确定为控制模型有效性的关键潜在因素。我们证明，传统的聚合指标掩盖了关键的性能权衡，只有当数据集按其几何属性分层时，这些权衡才变得可见。为了解决这个问题，我们引入了曲率分层评估框架，将数据集划分为正曲率、负曲率和接近零曲率状态。我们的基准评估了 18 个代表性模型，包括图卷积网络 (GCN)、图基础模型 (GFM) 和 14 个数据集的表格学习方法。我们发现模型排名在每个曲率范围内高度稳定，但在不同范围内显着变化，这表明性能基本上依赖于几何形状，而不是普遍可转移的。值得注意的是，我们确定了与几何对齐的 GNN 相比，GFM 提供收益递减的情况。基于这些发现，我们提出了一种几何感知评估协议，该协议可以产生比标准聚合基准更可靠和可解释的比较。我们发布了所有代码、曲率分层数据集分割和评估工具，以支持对未来关系学习方法的可重复和严格的评估。我们的项目主页提供了代码和数据集：https://sirbabbage.github.io/CurvBench_HOME/。