对话式大语言模型的角色感知启发式情景注意力

随着多轮对话的增长，大语言模型通常会丢失持久指令和相关信息。我们通过三种相关的失败模式来研究这种累积的情境衰减：注意力污染、稀释和漂移。我们提出了 REA（角色感知启发式情景注意力），这是一种上下文管理框架，可为指令和情景交互分配不同的持久性和表示策略。教学记忆在专用前缀中保留已识别的全局约束。情景记忆保留用户输入并压缩模型回复，而启发式检索则为每个历史回合选择原始文本、压缩表示或遗漏。在 Long-MT-Bench+ 上，REA 将判断分数从 6.32 提高到 7.36（满分 10 分），相对于 Vanilla 基线提高了 16.5%，并将平均延迟降低了 2.91$\times$。其他评估显示跨越 1.7B-7B 参数的三个骨干网以及中文和英文角色扮演任务的总体收益。这些结果支持角色感知上下文管理作为保持对话连续性和指令遵守的实用方法。