大语言模型 玩六度分离吗？测量长上下文流形中的拓扑压缩

大语言模型 (LLM) 在长上下文中表现出卓越的多跳推理能力，但实现这些远程认知跳跃的内部机制仍然知之甚少。由于注意力池等路由工件，传统的基于注意力的可解释性通常无法捕获真正的语义接近度。在本文中，我们绕过注意力权重直接分析隐藏状态流形的动态几何，证明深层 LLM 潜在空间本机组织成小世界网络。通过将长上下文表示的连续相似性矩阵稀疏化为未加权图，我们追踪了两个不同架构之间高度不相交的语义锚之间的连接性。我们的研究结果揭示了急剧的拓扑相变：虽然早期句法层仍然完全断裂，但深层推理层突然将大量概念距离压缩为严格受“六度分离”限制（=< 6 语义跳跃）限制的高度可导航的路径。此外，我们通过使用 RAGognize 数据集将其应用于检索增强生成（RAG）中的零样本幻觉检测，展示了该框架的实际功效。我们表明，基于事实的世代保持了其源上下文的结构完整性（大约 3 跳），而幻觉会导致严重的拓扑崩溃。最终，这项工作以数学形式形式化了 Transformer 如何执行抽象推理，并提供了一种新颖的、严格的几何签名来评估事实可靠性。