当提示交互时：评估分布转移下解混杂的提示算法

在分类任务中，模型可能依赖混杂变量来实现强大的分布内性能，捕获在分布偏移下失败的虚假特征。这种捷径行为会导致分布外设置的严重退化。任务算术通过减去二次模型更新来消除不需要的信号，提供了一种潜在的解决方案，但它通常需要完整的 微调，这在计算上是昂贵的。快速调整通过一小组可训练的虚拟词元来调整模型，从而提供了一种参数高效的替代方案。对结果提示进行任务算术为整个模型上的操作提供了一种有吸引力的替代方案，但这种方法可以在多大程度上限制对虚假特征的依赖仍有待确定。在这项工作中，我们研究通过任务算术组成软提示是否可以提高对混杂变化的鲁棒性。我们提出混合提示算术（HyPA），它将任务提示与线性化混杂提示相结合，以抵消虚假相关性。在多个基准测试中，相对于分布偏移下的即时算术基线，HyPA 始终如一地改进了鲁棒性与性能的权衡。我们进一步分析 HyPA 如何影响隐藏表示，并找到与其一致的证据，通过减少混杂信号对预测的影响或通过在表示中抑制混杂信号来减轻混杂。这些结果表明 HyPA 是一种参数有效且有前景的方法，可提高评估环境中混杂变化下的鲁棒性。