沙丘社区
论文

各向同性陡变：LLM决策的几何特征

Isotropy Cliffs: The Geometric Signature of Decision-Making in Large Language Models

Okan S. Coskun; Florian Rottach; Carsten Eickhoff; William Rudman
模型评测模型行为与机制分析

摘要

我们通过视角分析多选题回答决策的几何结构，研究了不同数据集上的五种开放权重模型。我们识别出由旋转对称性变化引起的决策关键转折层，这些转折层伴随着重要表示变化和任务相关的簇的出现。我们展示了这种同步几何行为与下游准确率（r≈0.84）高度相关，显示其对于成功决策的 relevance。此外，我们还展示了这一转折是受提示变化影响的，暗示其反映了模型行为的通用机制。

各向同性陡变：LLM决策的几何特征：论文配图
图1：表示塌缩与聚类形成的动态。分析 Qwen3-8B 在 Head-QA 数据集上的表现。双纵轴图追踪 IsoScore 与 k-NN Score，显示第23层至第24层之间的关键转变。第23层的 t-SNE 投影中，表示相互重叠且各向同性较高；第24层在表示空间结构塌缩后出现清晰的类别簇。