UnitT：使用群自回归进行统一几何学习 Transformer

最近的前馈模型具有显着先进的几何感知，可以根据传感器观测推断密集的 3D 结构。然而，其基本功能仍然分散在多个不兼容的范式中，包括在线感知、离线重建、多模态集成、长期可扩展性和度量尺度估计。我们提出了 UnitT，这是一个基于新颖的群自回归 Transformer 构建的统一模型，它在单个框架内重新表述了这些看似不同的功能。关键思想是将传感器观测值组视为基本自回归单元，并以无锚点和尺度自适应的方式预测相应的点图。更具体地说，在线和离线设置中的不同视图配置自然地统一在单个组自回归过程中。通过改变组大小，在线模式通过单帧组的多个自回归步骤进行操作，而离线模式则在单个前向传递中聚合多帧组。同时，队列式的 KV 缓存机制确保了长期有限的自回归内存。这是通过无锚关系建模减少对早期帧的远程依赖性来实现的，从而允许动态丢弃过时的内存。为了提高跨场景的度量尺度泛化，在该框架内进一步引入了尺度自适应几何损失。它将相对几何约束与部分绝对尺度项相结合，隐式地规范全局尺度并诱导从尺度不变几何到公制尺度解决方案的渐进过渡。与用于集成辅助模态的专用模态注意模块一起，UnitT 在统一几何感知方面实现了最先进的性能，并在涵盖七个代表性任务的十个基准上进行了验证。