论文

内存启动:用于引导的潜在空间 KV 缓存操作 LLM

Memory Inception: Latent-Space KV Cache Manipulation for Steering LLMs

模型推理KV Cache

摘要

转向大语言模型 (LLM)通常通过指令提示或激活转向来完成。提示通常会提供强大的控制,但会在每一层缓存指导词元,并且可能会扰乱长时间的交互;激活转向很紧凑,但通常较弱,并且不支持大型结构化提醒。我们引入了记忆初始(MI),这是一种 无需训练 方法,它通过仅在选定的层插入文本派生的键值(KV)库来引导潜在注意力空间。 MI 并没有在整个提示缓存中具体化提醒内容,而是将转向视为选择性 KV 分配,仅在模型路由到它们的地方注入潜在槽。在匹配的个性引导任务中,MI 提供了最佳的整体控制——漂移权衡,通过提示保持竞争力,同时始终优于 CAA。在可更新的指导上,MI 支持对话中的行为转变,而无需重写可见的记录,从而在 Qwen3 上实现最高的转变后对齐。在结构化推理方面,MI 优于 HARDMath 和 PHYSICS 上的可见提示(10/12 subject$\times$mode cells),充当可验证领域中结构化推理的代理,同时将内容匹配的 KV 存储削减高达 118$\times$。当指导是持久的、结构化的或保存在可见记录中的成本很高时,这些结果将 MI 定位为一种强大的指导方法。