论文

适用于室内环境的免校准 3D 多摄像头人员跟踪

Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment

应用与实践视觉感知与空间理解

摘要

多摄像机人员跟踪 (MCPT) 传统上依赖于精确的内在和外在摄像机校准,将 2D 检测投影到统一的 3D 世界坐标系中。然而,手动校准构成了从无约束视频档案生成大规模数据集的主要瓶颈。这项工作提出了一个统一的免校准 3D MCPT 框架,该框架使用深层基础模型直接从视觉数据推断几何结构。该系统集成了无锚检测 (YOLOX)、鲁棒跟踪 (BoT-SORT)、全尺度外观嵌入 (OsNet)、姿态估计(通过 MMPose 的 HRNet)以及使用 Visual Geometry Grounded Transformer (VGGT) 的基于 Transformer 的几何重建。姿势引导的 3D 提升策略将头部关键点投影到重建的流形上,消除了对地平面单应性的依赖。全局身份关联被公式化为具有严格速度门控的联合外观几何成本下的分层凝聚聚类。 2024 年 AI 城市挑战赛的评估显示,在不访问 真值 校准矩阵的情况下,HOTA 得分为 53.13%,为纯粹基于视觉的 3D 跟踪建立了强大的基线。