GeoAlign：MLLM 空间推理的几何特征重新对齐

多模态 大语言模型 (MLLM) 在各种视觉任务中表现出了卓越的性能，但在空间推理方面仍然存在困难。最近的努力通过从 3D 基础模型注入几何特征来缓解这一问题，但依赖于静态单层提取。我们发现这种方法会导致任务错位偏差：几何特征自然地向 3D 预训练目标演化，这可能与 MLLM 的异构空间需求相矛盾，从而使任何单层从根本上来说都是不够的。为了解决这个问题，我们提出了 GeoAlign，这是一种新颖的框架，可以动态聚合多层几何特征以适应实际需求。 GeoAlign 构建了一个分层几何特征库，并利用 MLLM 的原始视觉标记作为内容感知查询来执行分层稀疏路由，自适应地为每个补丁获取合适的几何特征。在 VSI-Bench、ScanQA 和 SQA3D 上进行的大量实验表明，我们的紧凑型 4B 模型有效地实现了最先进的性能，甚至优于更大的现有 MLLM。