控制和评估基于 LLM 的对话生成中适当的角色使用

在基于人物角色的对话生成（PDG）中，LLM 经常过度使用人物角色属性，无论对话上下文如何，都将其合并，从而导致不自然的响应。尽管具有实际意义，但其根本原因仍未被探索，没有方法可以缓解这个问题，也没有指标来评估角色使用的适当性。为了解决这些问题，我们首先对基于 LLM 的 PDG 进行全面分析，揭示 LLM 表现出系统性偏差，以纳入所有给定的角色属性，并且现有指标无法捕获上下文适当性。基于这些发现，我们提出自我对比角色过度使用抑制（SCONPOS），通过在提示编码阶段直接干预 LLM 的内部表示来减轻过度使用，而不需要任何响应生成。我们进一步提出角色适当性评分（PAS），这是一种惩罚过度使用和未充分使用的新颖指标。实验结果表明，SCONPOS 系统地减少了过度使用，并且 PAS 捕获了角色使用的上下文适当性。