学习保留关键上下文：用因果证据集监督全局剪枝

修剪长上下文意味着致力于模型将保留的块，并且通常的选择器是从密集的教师注意力中提炼出来的。假设注意力表明答案取决于哪个上下文。我们通过掩盖上下文并测量答案是否发生变化来测试对证据已知的检索任务的假设。注意力和因果依赖性不一致。教师关注的是答案不依赖的过时事实，并且他们在使用相同证据的训练中以不同的方式参与。受过这种注意力训练的选择者复制了这两次失败。在多跳检索任务中，选择器从注意力路线中提取的比例为 36% 到 98%，具体取决于训练运行。在因果证据集上训练的同一选择器每次运行都能达到 99% 或更好。严格的准确性并不能区分老师。掩盖冻结的老师可以在没有注释的情况下恢复这些任务的因果集。冻结的预训练模型也显示出相同的冲突，并且当必须在问题到达之前修剪上下文时，使用已知证据标签监督的选择器在 32B 中击败了基于注意力的驱逐。