通过对比解码合成指令调优数据集

使用高性能 大语言模型 (LLM) 生成的响应进行指令调整已成为一种广泛采用的方法。然而，现有文献忽视了 LLM 生成的响应的一个属性：它们将 预训练 期间获得的世界知识与 后训练 期间获得的指令跟踪能力混为一谈。我们假设将指令跟踪能力与预先训练的知识分开可以提高指令调整的有效性。为此，我们提出了 CoDIT，一种在响应生成过程中在后训练模型与其预训练模型之间应用对比解码的方法。该方法抑制了两个模型之间共享的预先训练的知识，同时放大了通过 后训练 获取的指令跟踪行为，从而产生更纯粹地反映指令跟踪能力的响应。实验结果表明，在通过 CoDIT 构建的数据集上训练的模型始终优于在直接生成的响应上训练的模型。与跨多个基准的现有公开可用的指令调整数据集相比，对我们的数据集进行训练也能产生更好的性能。此外，我们从理论上和经验上表明，CoDIT 可以解释为将聊天向量从参数空间提炼到文本空间，从而实现跨不同架构模型的指令调优能力的转移。