PRIDE：特权信息增强型 蒸馏，用于生成同理心对话

大语言模型 在为同理心对话生成多样化和情境感知响应方面表现出了强大的能力。然而，它们的计算需求严重限制了它们在资源有限的环境中的部署。虽然 知识蒸馏 提供了一种有前景的压缩解决方案，但它通常无法传递对同理心至关重要的细致入微的理解，因为它忽略了指导人类联系的隐含上下文线索。为了弥补这一差距，我们提出了一种用于 \textbf{e}mpathetic 对话生成（PRIDE）的 \textbf{pr}ivileged \textbf{i}信息增强知识 \textbf{d}istillation 方法。我们的方法利用了特权信息，例如专家心理注释或未来事件摘要，这些信息仅在训练期间可用，但在推理时不可用。这使我们能够将教师模型的移情推理转移到较小的模型，而无需在部署期间依赖额外的输入。具体而言，PRIDE具有三个关键组成部分：（1）共情推理提示，引导教师将共情过程明确地分解为理解感受和逐步分析情境； （2）多源注意力机制，引导学生有效整合特权信息； (3) 双对齐损失，结合了反向 Kullback-Leibler 散度和最大均值差异，以确保 logits 和特征级别上的稳健知识传输。在多模态和纯文本数据集上的实验表明，我们的方法实现了有竞争力的性能，并且在某些情况下在准确性和语义相关性方面匹配甚至超越了更大的教师模型。