双流形几何引导表示学习：内核与数据空间之间的自适应耦合

深度表示学习主要关注特征如何跨网络层演化，而很大程度上忽略了网络参数中嵌入的结构化几何。我们引入了双流形视角，其中每个卷积层包含两个耦合的几何空间：由卷积滤波器引起的内核流形和以中间特征表示为特征的数据流形。由于这些流形共享相同的通道空间，参数几何可以提供互补的结构信息来指导特征演化。基于这一见解，我们提出了内核引导特征变换（KGFT），这是一个轻量级模块，它从内核 Gram 矩阵导出几何引导矩阵，并用它来变换特征表示的协方差结构。与重新加权特征响应的传统注意力机制不同，KGFT 通过将几何信息从内核流形传输到数据流形来显式地重塑特征关系。为了适应网络层次结构，我们进一步引入了利用和探索模式，具有深度感知的调度策略和可学习的引导强度，可自适应地控制几何变换的贡献。这种设计促进浅层的几何对齐，同时鼓励更深层的特征多样性，而不会对表示学习施加过多的限制。理论分析确定了所提出的变换的有效性，并表征了其对特征协方差的影响。基于 CNN 和 Transformer 的架构（包括 ResNet、ViT 和 LLaMA-7B）的广泛实验证明了图像分类和算术推理任务的一致改进，验证了内核引导双流形表示学习的通用性和有效性。代码将公开。