LLM知识可达性的几何结构

大语言模型包含广泛知识，但无法可靠访问全部。我们通过知识可达性研究该问题——即查询所需知识能否从模型中回忆。我们发现：知识可达性在模型对查询本身的表示中（任何生成之前）具有简单几何结构——更可达的查询更接近表示空间中的一个中心，较不可达的查询更远。该几何揭示了一条分离更可达与较不可达查询的知识边界；可达性随到中心距离一致下降，且这一基于距离的排序跨数据集迁移（即使中心不同）。受控实验进一步显示：中心化几何与知识可达性的关系比与推理难度更紧密。几何还揭示不同干预何时有用：查询改写对可达查询帮助更大，思维链推理在边界附近帮助更大，检索在边界之外带来更大增益。这些发现不仅提供了语言模型中知识如何组织的新几何视角，还提示了面向自适应推理的有用生成前信号。