通过词元预测学习表示：几何、近似和下游保证

词元预测是现代语言模型的核心 预训练 目标。尽管在实证上取得了成功，但为什么词元预测能够学习广泛有用的表示仍然不完全清楚。我们开发了一个统计框架，将词元预测与表示几何、编码器近似和下游性能连接起来。在 softmax 预测头下，我们表明，准确的标记预测根据出现不同标记类型的上下文分布之间的相似性来组织标记嵌入（通过Hellinger距离测量），并具有由预测精度和标记频率控制的显式误差。同时，上下文表示为目标标记相对于这些嵌入的条件分布提供了低维坐标。我们进一步引入了自一致性原则，表明共享表示块的重复应用可以逐步细化上下文表示，而无需引入额外的块参数。在具有相同预测精度的表示中，这种循环构造有利于那些可以从上下文中稳定重建的表示。最后，我们通过线性探针为词元生成、词元社区恢复和分类建立下游保证，展示预测准确性和恢复的几何结构如何转化为超出 预训练 目标的性能。这些结果共同解释了预测标记的简单目标如何恢复语义几何并产生广泛有用的表示。受控模拟说明了理论机制。