EASE-TTT：针对长上下文问答的循证选择性测试时间训练

即使输入中已经存在带有答案的证据，长上下文问答（QA）对于较小的语言模型仍然具有挑战性。现有的上下文内检索方法定位并暴露问题的候选证据块，但它们停留在输入级证据暴露，而不是调整控制模型如何在全上下文位置上分配注意力的查询侧注意力参数。相比之下，轻量级测试时适应方法，例如仅查询测试时训练（qTTT），未解决证据定位问题，因为它们的通用跨度自我监督目标无法识别哪些上下文位置支持当前答案。在本文中，我们提出了证据对齐选择性测试时间训练（EASE-TTT），这是一种上下文内检索增强的测试时间训练框架，可将选定的证据块转换为对其标记位置的软注意监督目标。 EASE-TTT 不是用检索到的块替换完整上下文，而是使用生成的注意力目标来指导查询端适应，调整后的模型从原始完整上下文生成最终答案。对六个 LongBench QA 任务和三个小型解码器语言模型的实验表明，EASE-TTT 在全上下文推理、仅检索基线和 qTTT 中实现了最强的宏观平均性能，支持长上下文 QA 中证据对齐的测试时间适应。