NLL 引导的 无需训练 滑动窗口适应的全注意层选择

跨层混合完整注意力和滑动窗口注意力的混合注意力模型为高效的长上下文推理提供了一种有前途的方法，但 \emph{哪些层} 应保留充分注意力的关键问题仍未解决。现有方法使用固定的周期性模式或基于注意力的启发式方法，可能无法捕获对下游准确性重要的内容。我们提出了 NLL 引导的层选择，这是一种 无需训练 方法，当该层使用滑动窗口而不是完全注意时，通过计算答案标记上的负对数似然退化来直接测量每个层的重要性。在使用 Qwen3-4B 的 LongMemEval 上，我们的方法仅使用 1/4 全注意力层即可实现 64.6% 的准确度，匹配 1/2-FA 周期基线 (65.0%)，同时计算预算减半。 NLL 引导的选择比 SWAA 报告的周期性 1/4-FA 基线高 10.4 个百分点，比匹配的 LightTransfer 型基线高 26.4 个百分点。去混杂分析表明，信号与远程注意力需求一致，而不是与通用层敏感性一致。该方法仅需要 $\sim$15 分钟的一次性校准，推进了长上下文 LLM 部署的效率-准确度 Pareto 前沿。