泛化谱：评估学习算法的色谱方法

传统评估衡量学习算法在独立同分布上的最终性能。测试集，将学习减少到单个总分。这种方法掩盖了一个基本问题：从特定示例中学到的知识在多大程度上可以推广到其他示例？这种针对每个样本的概括类似于人类认知中的类比学习，它捕获了从一个示例中提取的知识可以转移多远，但对于标准基准来说仍然不可见。我们引入了泛化谱（Generalization Spectrum），这是一个旨在揭示这个隐藏维度的评估框架。对于每个训练示例，我们构建了一套受控的测试变体，通过增加转移距离、从精确回忆到跨语言的实现转移、完整叙述重新框架下的上下文转移、类别匹配的域内问题和不成对的基线来安排。通过跟踪这些距离上的表现，我们不仅可以揭示算法是否能够学习，还可以揭示学习的延伸程度。我们在竞争性编程上实例化了这个框架，使用选择和合成管道来解决最近的问题，以减轻污染。我们首先比较匹配记忆下的三种典型学习范式。 RL 比 SFT 系列基线更有效地将记忆转化为近迁移，而 ICL 表现出强大但依赖于对应的迁移。然后我们使用频谱来诊断家族内变异。结果表明，局部增益不需要扩大泛化半径：抽象和提示主要提升局部传输，RFT 比参考 SFT 保留更强的远传输尾部，并且即使局部传输或优化得到改善，自 蒸馏 或提示辅助 RL 也可以减少远传输。