用于可解释提示学习的联合语义标记选择和提示优化

CLIP 等视觉语言模型实现了强大的视觉文本对齐，但在通过持续提示学习进行调整时经常会出现过度拟合和有限的可解释性。虽然离散提示优化提高了可解释性，但它通常依赖于大型外部模型，导致计算成本高且可扩展性有限。在本文中，我们提出了可解释提示学习（IPL），这是一种在离散语义标记选择和连续提示优化之间交替的混合框架。具体来说，IPL 将语义标记选择制定为近似次模优化问题，鼓励人类可理解且语义多样化的标记。它还采用交替优化策略，将离散标记选择与连续提示调整相结合，提高可解释性，同时保留对下游任务的适应性。我们的框架是即插即用的，可以与现有的即时学习方法无缝集成。对多个基准的大量实验表明，IPL 持续提高了五种代表性即时学习方法的可解释性和准确性，为现有框架提供了有效且可扩展的扩展。