局部几何复杂度下Transformer上下文学习的理论界限

Transformer 已成为上下文学习 (ICL) 的核心架构，特别是通过其在大型语言模型中最先进的性能。这一成功促使人们理解转换器如何利用几何异构数据中的任务相关结构。然而，现有的非参数 ICL 理论主要集中在欧几里得域或单流形模型上。为了解决这一差距，我们研究了未知局部几何条件下的预测问题，通过具有异质尺寸、平滑度和采样质量的样本大小相关的流形混合物进行建模。在局部分离和小扰动条件下，我们建立了一个极小极大下界来捕获组件的总难度，并构造一个具有匹配上限的预言切空间局部多项式估计器。该估计器连接到具有几何预处理器和图表简化局部多项式求解器的结构引导的两级 softmax Transformer。相对于具有对数深度和多项式大小的极小极大速率，Transformer实现了可忽略不计的近似误差。最后，我们得出了该类别的近经验风险最小化器的上下文概括界限。这些结果共同确定了生成的预测器利用局部几何形状并获得聚合极小极大率的条件。