揭示深层中间表示的潜在潜力

在大量数据上进行预训练的基础模型学习跨深度演变的表示，形成具有不同语义内容和几何结构的嵌入层次结构。与仅使用最后一层或浅层混合的广泛实践相反，我们表明任务相关信息在各层之间非单调分布，并且无法通过朴素聚合来恢复。通过跨多种模式的几何和实证研究，我们表明有效的迁移取决于确定哪些层编码任务区分结构以及它们的嵌入如何进行几何组织。我们引入了逐层最佳嵌入选择（LOES），这是一种构造性谱方法，通过在正交性和各向同性约束下最小化残差来识别任务区分子空间。为了使 微调 与此选择原则保持一致，我们进一步提出几何正则化损失（GeoReg），它在类流形上强制使用单纯结构，并在 微调 期间稳定表示几何。在各种架构、深度、模式和数据机制中，LOES 始终优于标准基线，并且随着模型深度的增加而增长。除了准确性之外，我们的方法还揭示了语义因素如何跨层分布，从而实现跨语言和跨模式的可解释性分析。总之，我们的结果提供了强有力的证据，表明分层嵌入几何并不是偶然的，而是深度模型如何表示和传递知识的核心。