R$^3$L：从相对空间关系推理 3D 布局

相对空间关系提供了空间结构的紧凑表示，并且是 3D 布局生成中相对空间推理的基础。最近的工作利用多模态 大语言模型 (MLLM) 来推断此类关系，但推断出的关系通常不可靠，并且通常使用事后启发法进行处理。在本文中，我们提出了 R$^3$L，一个通用框架，可提高 3D 布局生成的相对空间推理的可靠性和一致性。我们的主要动机是多跳推理需要重复的参考系转换，这会累积推断关系中的错误并导致语义和度量漂移。为了缓解这一问题，我们提出不变的空间分解来打破耦合关系链，并提出一致的空间想象来通过想象和修改循环来促进自我一致性。我们进一步引入支持性空间优化，通过全局到局部坐标重新参数化来简化姿态优化。跨不同场景类型和指令的广泛实验表明，R$^3$L 可以产生物理上更可行且语义上更一致的布局。值得注意的是，我们的分析表明，解决帧引起的不一致对于可靠的多跳相对空间推理至关重要。代码可在 https://github.com/Neal2020GitHub/R3L 获取。