当正确的示范受到伤害时：重新思考榜样在情境学习中的作用

情境学习（ICL）通常是出于直觉，即演示有帮助，因为它们提供了正确的输入输出示例。然而，我们揭示了一个违反直觉的现象：正确性并不能保证示例的实用性，一些正确的演示甚至会降低 ICL 的准确性。为了研究这种正确性与实用性之间的差距，我们引入了任务保留扰动，其中仅更改了示例输入，而示例仍然是同一任务的正确实例。具体来说，每个受到干扰的样本都被分配了由任务映射引起的目标。该框架涵盖了标签更新扰动（其中与任务相关的语义更改和目标被重新计算）和更严格的目标保留扰动（其中原始目标仍然有效）。我们将由此产生的失败模式形式化为上下文证据转移：任务保留扰动可以改变模型用于上下文推理的有效证据混合，从而将样本正确性与样本效用分开。在情感分类、逻辑推理和数学应用题中，我们发现任务保留扰动演示会大大降低 ICL 性能，特别是对于较小的模型、较难的任务和较高的扰动比。我们的结果表明，稳健的 ICL 不仅需要评估演示是否正确，还需要评估它们如何影响上下文推理。代码可在 https://github.com/Chenghao-Qiu/Task-Preserving-ICL 获取。