DecodeShare：追踪LLM解码时决策的共享子空间

摘要

大语言模型（LLM）用一套参数处理许多任务，但在KV缓存推理下，解码时（而非prefill时）究竟使用了什么任务通用结构并不清楚。我们提出DecodeShare协议：识别解码时隐状态中跨任务一致共享的低维子空间，然后仅在解码期间移除该子空间来检验其因果角色。实验中，扰动所发现的共享子空间对决策性能的损害远超相同干预预算下扰动prefill派生或随机子空间。我们进一步展示该解码共享子空间对激活转向有实际影响：常见转向方向可能与任务通用解码通道重叠；投影掉该共享子空间可直接分离两者的功能角色，而在解码时评估转向向量比基于prefill的代理为下游部署提供更可靠的信号。尽管紧凑，该共享子空间可在解码时充当高杠杆的因果通道。代码见https://github.com/Zishan-Shao/decodeshare.git。

DecodeShare：追踪LLM解码时决策的共享子空间：论文配图 — 图 1：DecodeShare 管道。 (1) 我们从多个任务的提示中收集 KV 缓存的解码时隐藏状态，并将它们汇集到一个矩阵中。 (2) 合并的 PCA 产生一组正交方向（V 矩阵的列）；然后，我们选择一个在任务之间一致共享的子集 (Qℓ(s)Q_{\ell}^{(s)})，而不是简单地采用最高方差分量。 (3) 为了测试因果关系，我们仅在解码过程中进行干预，方法是从隐藏状态中删除所选组件，并与维度和能量匹配的控制进行比较，以排除简单的高方差/能量混淆。