大语言模型 的地理空间概念探索：抽象、组合性和基础

理解概念是泛化的基础。尽管 大语言模型 (LLM) 在广泛的任务中表现出色，但在真正的概念理解方面仍然存在困难。先前的工作使用自然语言基准或范围狭窄的合成任务评估了 LLM 中的概念理解，但这些设置通常会混淆多种技能或缺乏对底层概念及其属性的精确控制。为了支持 LLM 中概念的受控探测，我们设计了对其核心属性的测试：抽象性、组合性和基础性。我们建立了一个以概念为中心的基准，针对方向、距离、拓扑及其组成等空间概念，并使用问答任务作为代理。我们在多个 LLM 架构和训练体系中进行了广泛的实验，以分析模型规模和设计如何影响概念理解。结果揭示了当前 LLM 的明显局限性，并提供了对影响其获取和构建结构化概念能力的因素的见解。我们的研究结果揭示了如何重新设计基于概念的 LLM 以改进信息访问和知识管理。该代码可在 https://github.com/rd20karim/concept-probing 获取。