位置偏差校正不足以进行一次性注意力排序

长上下文语言模型存在位置偏差，中间位置的信息未得到充分利用。注意力排序通过基于注意力模式迭代地重新排序文档来解决这个问题，但其多个排序和生成周期会增加部署成本。我们假设位置偏差是主要瓶颈，并提出去偏差单通道注意力排序，它从低注意力的大多数文档中估计每个提示的位置偏差曲线，并用它来纠正原始注意力分数（通过减法或除法）以实现单通道排序。我们在两个模型上的实验在测试环境中反驳了这一假设：在 LLaMA-2-7B-32K-Instruct 上，去偏产生与未校准的单遍排序相同的结果（94.83\% 包含精度），而在 YaRN-Llama-2-7b-64k 上，去偏将精度提高了 8.67 个百分点，但仍然落后于迭代排序 14.84pp，仅关闭了 37\%差距。这些结果表明位置偏差校正不足以匹配迭代排序，并且重复重新排序提供了偏差校正之外的额外好处。