KV-Cache Patching：定位微调行为在历史上下文处理中的形成位置

摘要

微调语言模型会改变其回答方式，但这种微调行为究竟在哪里形成？我们考察行为变化是否只在生成体现该变化的答案token时产生，还是源于注意力机制对更早token的处理已经改变。为此，我们把LoRA微调模型的KV Cache修补到未改动的基础模型中，也做反向修补。结果显示，对德语作答、涌现性失配等部分行为，KV Cache修补确实可以将其从微调模型转移到基础模型。相应地，将基础模型的KV Cache修补到微调模型，能够部分或完全消除微调行为。修补越多KV Cache，影响越大，而且效应集中在少数关键位置，系统提示和聊天模板token具有不成比例的影响。

KV-Cache Patching：定位微调行为在历史上下文处理中的形成位置：论文配图 — 图1：将KV缓存从微调模型复制到基础模型（蓝色），或反向复制（绿色）时，KV缓存置换对模型行为的影响。各行分别为约定（第1行）、倾向（第2行）和能力（第3行）。置换KV缓存的比例依次增大（prompt-1、prompt、all），条形颜色也逐渐加深。多数情况下，基础模型表现该行为的比例接近0%。误差线为95%按提示聚类的bootstrap区间。条形上堆叠的斜线段表示失败并陷入无连贯意义的重复循环的生成结果占比（附录C）。