Apple MPS 解码中的非单调延迟：KV 缓存交互和执行机制

通常假设自回归推理随着解码长度的变化而可预测地扩展，并且延迟随着生成的序列长度的增长而平滑地增加。在这项工作中，我们识别了 Apple MPS 后端中意外的非单调延迟行为，其中在 Transformer 解码期间，延迟在附近的解码配置中突然变化。使用多个模型系列（GPT-2、BLOOM 和 OPT），我们观察到特定解码预算间隔内的延迟峰值高达 21 倍，然后在相邻配置中恢复。对照实验表明，这些异常主要源于解码阶段而不是预填充，不能仅用内存压力来解释，并且在相同条件下 CPU 和 NVIDIA CUDA 后端上仍然不存在这些异常。我们进一步表明，键值（KV）缓存与这些病态执行机制有很强的相互作用：KV 缓存总体上仍然是有益的，但其实际加速在异常配置中急剧下降，而缓存禁用的解码仍然表现出残余的非单调行为。这些发现表明，MPS 上的自回归解码进入了粗粒度基准测试无法捕获的离散执行机制，这凸显了硬件感知评估对于长上下文推理的重要性。