CAPruner：用于增强 大语言模型 3D 空间推理的概念相邻场景图修剪器

大语言模型 (LLM) 最近已应用于 3D 视觉语言 (3D-VL) 任务，该任务需要空间推理来识别相对于锚点的目标对象。通常采用场景图来表示此类关系，但对完整图进行推理会导致较高的标记成本和计算效率低下，从而激发了修剪的需要。现有的剪枝方法主要依赖于空间邻近性，并且经常消除与任务相关的关系，从而破坏可靠的空间推理。为了解决这些限制，我们得出了场景图修剪的一个关键要求：保留与特定 3D-VL 任务最相关的空间关系。在这种见解的指导下，我们提出了概念相邻场景图修剪器（CAPruner）。 CAPruner 将模糊语义相关性与空间邻近性相结合来估计关系的重要性，从而能够在特定任务的上下文中选择关键关系。此外，为了避免昂贵的关系级注释，CAPruner 通过监督每个节点的关联边的聚合分数来进行训练。大量实验表明，CAPruner 有效保留了空间推理所必需的关系，从而显着提高了 LLM 在 3D-VL 任务上的性能。代码可在 https://github.com/fz-zsl/CAPruner 获取。