把任务匹配到目标：编码器-解码器预训练语言模型的微调与提示调优策略

基于提示的学习已成为自然语言处理的主流范式。本研究探讨多样预训练目标对编码器-解码器预训练语言模型在生成与问答任务上表现的影响——聚焦常识知识检索与补全。我们强调在预训练与微调两阶段纳入多目标的益处。我们介绍任务-目标匹配（MTO）框架与为给定任务确定适当目标的方法。该框架提供自动化方法：基于识别出的目标——经无监督训练准备任务相关数据以供适配。在微调阶段——我们设计与预训练及适配阶段目标对齐的新模板。与任务需求对齐时——这些策略在少样本设定下可较常规方法取得超120%的性能增益。它们在少样本设定下显著优于相关工作——并在全量数据场景下也超过基线。此外——我们把该方法扩展到提示调优方法学——为更有效的软提示工程与优化提供指导。我们的策略也显著增强提示调优性能。这些洞见对精确指导为特定任务定制的模型选择与优化具有实质价值。代码见 https://github.com/puraminy/MTO/。