分数衰减 KV-Cache：所有权感知内存管理，用于改进对话系统中的推理相关性

键值 (KV) 缓存对于基于 Transformer 的对话系统中的高效自回归推理至关重要，但现有策略统一处理所有缓存条目或应用粗略逐出启发式方法，而这些启发式方法无法随着对话主题的发展而适应。我们提出了 Fractional Decay KV-Cache (FD-KVC)，这是一种为每个缓存的 KV 对维护双通道评分机制的新颖算法：一个跟踪总体重要性的累积注意力通道（类似于 H2O），以及一个由时间衰减和强化启发的更新控制的新近度加权相关通道。这种组合使 FD-KVC 能够保留历史上重要的标记，并在对话主题发生变化时快速适应。由所有权损失函数驱动的自适应学习率确保收敛而不会振荡。 FD-KVC 完全在 CPU 上运行，开销可以忽略不计。在五个不同的多轮对话场景（每个场景有 600 个对话）中，FD-KVC 在复合后轮对齐方面优于 H2O（最先进的重量级基线），提高了 +6.7%，在主题转移方面提高了 +127%，在渐进演化方面提高了 +87%，在混合主题对话方面提高了 +30%。 FD-KVC 适应新主题的速度比 H2O 快 3.6 倍，并在所有方法中实现了最高的主题多样性 (80.6%)。消融研究证实了每个成分的贡献。