CAP：根据模型内部表示选择后训练数据

LLM 是在预训练期间吸收大量知识的有效表示，但训练后对于模型可靠地访问这些知识并“了解他们所知道的”是必要的。我们观察到权重中存储的知识与通过模型的数据流之间存在有趣的等级平衡。在所有模型层中，我们发现隐藏状态（数据流）遵循 U 形模式，显示出早期层的大量压缩和后期层解码阶段的急剧上升。相比之下，权重排名遵循倒U形模式，前层和后层的排名非常低，中间的排名较高。我们将其解释为进出信息相互作用：中间激活不需要携带权重稍后可以提供的内容，因此它们主要保留权重无法提供的内容。受此观察的启发，我们提出了一种模型感知数据选择方法，CAP（反事实同化概况），该方法可以利用模型生成的响应和参考响应之间的早期层和后期层表示的分歧差距来确定候选数据是否包含当前模型可访问的信息。在数学、代码和科学领域，与不同选择预算下的最强基线相比，CAP 比基本模型平均提高了 35.4%。 CAP 仅使用 10% 的数据池，就超越或匹配了数学和科学的全池训练。我们进一步表明 CAP 可以转移到多模态数据选择，并且对响应范围和噪声具有鲁棒性。