EmoDistill：对抗性谈判中语言模型代理的离线情感技能 蒸馏

训练后的 LLM 通常经过优化，可以产生有用、礼貌和包容的响应。然而，在对抗性谈判中，这种行为可能会成为一个弱点：情绪化的语言可能会以与其用户目标相冲突的方式影响智能体的讨价还价决策。因此，我们引入了 EmoDistill，这是一个离线框架，用于将 LLM-LLM 交互中的情感谈判技巧提炼成更小的语言模型代理。在这里，情绪谈判技巧是一种状态条件行为，决定了在讨价还价状态下调用哪种显性情绪以及如何将这种情绪实现为有效的谈判话语。 EmoDistill 分别学习这两个组件：隐式 Q 学习 (IQL) 选择器学习在每种讨价还价状态下表达哪种情绪，而 LoRA 适应的 7B 策略则通过监督 微调 (SFT) 和法官策略优化 (JPO) 学习情绪调节表达。在四个情绪敏感的谈判领域，完整的 EmoDistill 策略实现了竞争效用，并在大多数情况下比普通和仅 IQL 的基线有所改进。无情感消融表明，消除明确的情感通道会大大降低整体谈判效用，而转移实验则揭示了对看不见的 LLM 交易对手的部分、依赖于领域的转移和鲁棒性。