图结构推理的微调小语言模型的泛化边界

针对图属性估计进行微调的小语言模型已经表现出强大的分布内性能，但它们超出训练条件的泛化能力仍然知之甚少。在这项工作中，我们沿着两个泛化轴（图大小和图族分布）系统地研究了微调小语言模型中的结构推理边界，并评估了现实世界图基准的领域学习能力。使用受控实验设置以及 3-4B 参数类中的三个指令调整模型和两种图序列化格式，我们评估了远大于训练范围的图以及跨保留随机图族的性能。我们的结果表明，经过微调的模型在结构不同的图族中保持了很强的序数一致性，并继续根据输入上的结构属性对图进行排序，这些输入比训练期间看到的要大得多，并且具有不同的特定于架构的退化配置文件。这些发现描绘了经过微调的小语言模型可靠地概括的地方，为其在基于图的推理任务中的使用提供了经验基础。