上下文 蒸馏 作为潜在内存管理

上下文 蒸馏 将上下文信息压缩为模型参数，但现有方法经常忽略如何在非预言机设置中存储、检索和安全激活多个蒸馏潜在记忆。我们将上下文 蒸馏 表述为潜在的内存管理问题。我们将每个上下文提炼成一个独立的 LoRA 适配器，形成一个模块化内存库，支持显式内存选择。给定一个查询，我们的框架检索候选内存，将查询路由到最合适的适配器，并使用自门机制来决定是否应激活潜在内存。为了提高效率，我们进一步引入缓存共享以减少推理过程中的管理开销。实验表明，我们的方法在检索方面大大优于基线，而自门控则通过停用不必要的潜在记忆来提高鲁棒性。