AgentSTAR：单目视频的代理形状跟踪和重建

在这项工作中，我们提出了一种通过代理综合分析从视频进行形状重建和跟踪的方法。与首先估计密集像素对应关系然后从中恢复对象运动的现有方法不同，我们的方法推断出结构化 3D 对象模型，包括其几何结构和运动学结构，并使用该模型随时间优化对象轨迹估计。在我们的优化循环中，视觉语言模型（VLM）代理通过渲染和比较循环迭代地细化形状或广义姿势，将粗略的视觉推理与数值姿势优化相结合以实现精确的状态估计。这种结构化的公式使我们的方法能够跟踪大的运动、关节和严重的遮挡，而无需依赖像素匹配目标。从数量上讲，在 ARCTIC 上，我们的方法大大优于铰接物体的最先进的 3D 点跟踪基线，而在 HOT3D 上，它优于所有评估的刚性物体跟踪基线。