语言模型中的天空球表示

我们分析大小约为 100B 的语言模型是否具有可从其残余流中解码的夜空地图的表示。我们发现大多数考虑的开源模型确实具有这样的表示，并且它甚至经常在提出诸如“夜空中这个物体附近有什么”的提示时浮现到顶部主成分。在除一个模型之外的所有模型中，这种表示在 LOO 测试中都显示出显着的分数，包含高达 65-85% 的方差 ($R^2$-分数)，并且中值角度误差低至 $12^\circ-21^\circ$。我们验证我们的表示不是相关平面表示的简单泄漏。据我们所知，这种表示是弯曲高维不可约特征流形的第一个例子。论文中使用的代码发布于 https://github.com/l3erdnik/Decodable-sky