特征组合的结构不稳定性

稀疏自动编码器 (SAE) 已成为在基于 Transformer 的架构中解开特征叠加的强大范例，从而通过激活引导实现精确控制。然而，组合控制的理论基础——不同语义潜伏的同时激活——仍未得到充分探索。流行的线性表示假说经常抽象出超完备字典中出现的非线性干扰效应。我们提出了一个用于分析特征联合不稳定性的几何框架。将激活空间建模为高维稀疏锥流形，我们在球形字典模型下推导了渐近组合崩溃阈值，其特征在于信号锥的高斯平均宽度（统计维度）。我们进一步表明，在高偏差状态下，ReLU 整流将微观相关引起的方差波动转换为在组合下累积的系统漂移，产生与棘轮效应一致的干扰增长。我们验证了从 CLEVR 提取的结构化语义特征的预测缩放趋势，其中分层相关性相对于随机基线加速了转换。总之，我们的结果强调了基于联合的转向的可扩展性的几何约束，并激发了组合机制，这些机制明确地管理超出朴素线性叠加的干扰。