论文
在线性表示假设下,语言模型可以存储多少个特征?
How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
摘要
我们引入了线性表示假设(LRH)的数学框架,该框架断言语言模型的中间层线性存储特征。我们将假设分为两个主张:线性表示(特征线性嵌入到神经元激活中)和线性可访问性(特征可以线性解码)。然后我们问:有多少个神经元 $d$ 足以线性表示和线性访问 $m$ 特征?压缩感知的经典结果意味着,对于 $k$ 稀疏输入,如果我们允许非线性解码算法,则 $d = O(k\log (m/k))$ 就足够了(Candes 和 Tai,2006;Candes 等,2006;Donoho,2006)。然而,线性解码的额外要求将问题从经典压缩感知中转移到线性压缩感知中。我们的主要理论结果为线性压缩感知建立了几乎匹配的上限和下限。我们证明 $d = Ω_ε(\frac{k^2}{\log k}\log (m/k))$ 是必需的,而 $d = O_ε(k^2\log m)$ 就足够了。下限在经典和线性压缩设置之间建立了定量差距,说明线性可访问性如何是比单独的线性表示更有意义的更强的假设。上限证实神经元可以在 LRH 下存储指数数量的特征,为“叠加假设”提供理论证据(Elhage 等人,2022)。上限证明使用具有近似正交列的标准随机矩阵构造。下界证明使用近恒等矩阵的秩界(Alon,2003)以及图兰定理(限制无派图中的边数)。我们还展示了我们的结果如何限制和不限制特征表示的几何形状,并扩展我们的结果以允许具有激活函数和偏差的解码器。