论文
通过多任务提示 蒸馏 和临床 NLP 分解的参数高效迁移学习方法
A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP
摘要
现有的基于提示的 微调 方法通常独立学习特定于任务的提示，在部署多个临床自然语言处理 (NLP) 系统时会产生大量计算和存储开销。我们提出了一个多任务提示 蒸馏 和分解框架，该框架从 21 个不同的临床源任务中学习单个共享元提示，并使其适应可训练参数少于 0.05% 的未见过的目标任务。使用三种骨干模型（LLaMA 3.1 8B、Meditron3 8B、gpt-oss 20B）对 10 个保留目标数据集的五种临床 NLP 任务类型（命名实体识别、关系提取、问答、自然语言推理和摘要）进行评估，尽管使用的参数少了几个数量级，但我们的框架始终优于 LoRA 1.5~1.7%，并且超过单任务提示调整6.1~6.6%。 gpt-oss 20B 模型实现了最高的整体性能，特别是在临床推理任务上。强大的零样本和少样本性能证明了共享提示表示具有更好的可转移性。