论文
情境学习期间关系基础模型中的支持集目标泄漏：影响、检测和缓解
Support-Set Target Leakage in Relational Foundation Models during In-Context Learning: Impact, Detection, and Mitigation
摘要
关系上下文学习 (ICL) 对标记的支持示例及其链接表进行条件预测，当支持集包含不可用于查询的目标派生特征时，会创建故障模式。我们将这个问题表述为支持集目标泄漏，与数据集构建、时间分割或表示学习期间的泄漏不同。在这里，在关系上下文推理期间，目标派生（泄漏者）列仅出现在标记的支持集中，而查询保持干净。我们构建了 14 种合成泄漏器类型，对应于 20 列，跨越具有不同噪声水平、覆盖范围、模式、语义透明度和关系距离的代理。我们在保留的 RelBench 数据库上评估带有 ICL 头的冻结关系编码器，并使用集成梯度 (IG) 来排名和删除可疑列。我们的结果表明，支持集泄漏的影响因任务和关系距离而异。目标表泄漏器会导致最明显的性能下降，而模型并未一致使用一跳和两跳泄漏器。 IG 在数据集中对目标表泄漏者进行了高度排名，并在泄漏影响最大的设置中部分恢复了性能。