用于预训练语言模型嵌入的黎曼几何

了解预训练语言模型嵌入的几何结构对于可解释性和安全性至关重要。我们询问句子级分类信号是否存在于上下文标记嵌入的黎曼几何中，并通过从学习编码器的分析雅可比行列式中提取每个标记的回拉度量并将它们与对称正定（SPD）流形上的 Fréchet 均值聚合来探测它；我们将此过程称为黎曼均值池化 (RMP)。在具有重要语言结构的三个数据集（CoLA、CREAK、RTE）中，RMP 优于欧几里德均值池，而在 FEVER-Symmetric（为消除注释驱动的词汇伪影而构建的基准）上，该方法正确地保持了偶然性。消融表明，随机初始化的编码器与 Fréchet 聚合相结合已经在三个信号承载数据集上的两个上击败了欧几里德池化，将增益源定位到几何聚合而不是学习到的流形结构；经过训练的编码器专门在 CREAK 上提供额外的信号，CREAK 是三个信号承载数据集中知识最丰富的数据集。