将神经符号程序提炼为 3D 多模态 LLM

当前的 3D 空间推理方法面临着一个基本的权衡：神经符号 3D (NS3D) 概念学习者通过组合程序实现可解释的推理，但仅限于封闭的概念词汇和简单的程序；端到端 3D 多模态 LLM (3D MLLM) 可以处理复杂的自然语言和开放词汇概念，但会受到黑盒推理的影响，而无需明确的空间验证。我们引入了 APEIRIA，一种神经符号 3D MLLM，通过将符号推理模式提炼为具有自然语言思想链的 MLLM，来连接两种范式。我们的三阶段课程逐步构建推理能力：a) 3D 感知对齐将对象视觉几何特征融入 LLM，b) CoT-SFT 教授查询分解和符号程序跟踪的逐步验证，c) CoT-RL 将推理模式扩展到开放集概念和深度嵌套指令。通过转移推理模式而不是特定概念的知识，APEIRIA 保留了 NS3D 的关键优点：透明推理以及规划和感知组件的模块化可互换性。对基础、问答和字幕的评估表明，APEIRIA 超越了之前的 NS3D 方法，在 3D 空间推理数据集上与最先进的 3D MLLM 相匹配，将符号方法的系统推理与 MLLM 的灵活性结合起来。代码可在 https://github.com/oceanflowlab/APEIRIA 获取。