论文
长寿命角色、本地推理:游戏 NPC 的增量内存维护
Long-Lived Characters, Local Inference: Incremental Memory Maintenance for Game NPCs
摘要
游戏角色不应该在每次对话之前都重读自己的整个人生。然而,对于本地部署的语言模型字符,修改一些内存可能会使长的可重用前缀失效。由此产生的准备成本与前台对话和其他角色的维护成本相竞争。当对话提供游戏定义的动作和价值判断时,这一点尤其重要:对谁拥有物品或是否已经发生转移的流畅但不正确的描述可能会破坏对其他确定性规则的输入。我们在量化 Qwen 混合循环注意力模型中研究长寿命游戏 NPC 的增量记忆维护。我们的运行时删除了被取代的注意力 KV 条目,计算真实序列尾部的替换记录,并保留持续的循环状态和未更改的 KV。现有的本地实验结合了多次更新对话重播、固定输入放置消融和注意力诊断。独立的块组合削弱了查询条件的内存选择,而没有统一的块初始注意崩溃。真实尾部更新在八个脚本维护轮次中保留重要的当前状态和历史绑定;放置案例在三个重建中恢复完全填充数量,而保留槽的替代方案则重复双减错误。注意力分布接近度本身并不能解释这些语义差异。结果促使将角色的推理状态视为维护的、依赖于历史的资源,而不仅仅是其最新记忆文本的一次性编码。