用于即插即用属性控制文本生成的 QLoRA PEFT 模块的输出可组合性

参数高效的 微调 (PEFT) 技术以完整 微调 成本的一小部分提供特定于任务的 微调，但每个新任务（组合）都需要单独的 微调。在本文中，我们探索了超越单任务训练/推理的三种泛化方法：（i）对多个相关数据集的组合进行训练； (ii) 在推理时，组成单独训练的 PEFT 模块的权重矩阵； (iii) 在推理时，组合单独训练的 PEFT 模块的输出。我们在三种不同的 LLM、QLoRA 作为 PEFT 技术以及三组用于情感控制、主题控制和多属性控制的受控文本生成数据集上测试这些方法。我们发现对 PEFT 模块输出求和是一种特别强大的组合方法，它始终优于或匹配替代方法的性能。即使与单任务测试集上的单任务专用模块进行比较，情况也是如此，其中三模块输出组合在所有情绪控制模型中实现了平均 2% 的性能提升。