论文
稀疏语义维度作为 LLM 的泛化证书
Sparse Semantic Dimension as a Generalization Certificate for LLMs
摘要
标准统计学习理论预测 大语言模型 (LLM) 应该过度拟合,因为它们的参数计数远远超过训练标记的数量。然而,在实践中,它们的概括能力很强。我们提出控制泛化的有效能力在于模型内部表示的几何形状:虽然参数空间是高维的,但激活状态位于低维、稀疏流形上。为了形式化这一点,我们引入了稀疏语义维度(SSD),这是一种复杂性度量,源自在模型层上训练的稀疏自动编码器(SAE)的活动特征词汇。将 LLM 和 SAE 视为冻结的预言机,我们利用该框架将模型的泛化能力归因于字典的稀疏性而不是总参数计数。根据经验,我们在 GPT-2 Small 和 Gemma-2B 上验证了这个框架,证明我们的边界以实际样本大小提供非空证书。至关重要的是,我们发现了一个反直觉的“特征锐度”缩放定律:尽管要大一个数量级,但与 GPT-2 相比,Gemma-2B 需要明显更少的校准样本来识别其活动流形,这表明更大的模型可以学习更可压缩、更独特的语义结构。最后,我们证明该框架可以作为可靠的安全监视器:分布外输入触发可测量的“特征爆炸”(活跃特征的急剧上升),通过学习到的特征违规有效地发出认知不确定性信号。代码位于:https://github.com/newcodevelop/sparse-semantic-dimension。