论文
StreamRig：利用设备内几何结构进行流式多摄像机里程计
StreamRig: Exploiting Intra-Rig Geometry for Streaming Multi-Camera Odometry
摘要
移动机器人和车辆携带同步多摄像头装备，但许多流式 3D 基础模型是为单眼输入而设计的，这给装备几何结构的有效利用带来了挑战。我们提出了 StreamRig，这是一个冻结和流式框架，可在冻结的多视图 3D 基础模型上为校准装备构建因果流式里程计。冻结的前端使用装备校准共同感知同步视图。 Rig-Resampler 压缩它们的特征，CausalBridge 通过键值缓存应用因果注意力，轻量级头部回归 Rig 姿势。周期性重新锚定协议支持长序列上的稳定姿态估计。仅对这些模块进行训练，总共 74.6M 个参数，以相对姿势作为唯一的监督。我们的两阶段训练策略将组重定位预训练与因果装备训练相结合，将冻结前端的几何先验和预训练模块的对齐能力转移到流里程计中。我们在 NCLT、TartanGround、KITTI-360 和我们自行收集的人形机器人数据集 ZJH 上进行评估，其中训练仅使用模拟，真实世界评估是零样本。在所有四个数据集上，StreamRig 比评估的非 Oracle 单目流和设备感知离线模型实现了更低的平移和旋转漂移，同时保持了较低的推理成本。消融和受控相机计数实验确定了这些增益的来源。我们进一步研究更长的训练窗口如何影响更长范围内的推理。代码已发布于https://github.com/WeiYuFei0217/StreamRig.