CosFly-Track：通过多约束轨迹优化进行无人机视觉跟踪的大规模多模态数据集

最近的航空视觉语言导航（VLN）数据集增长迅速，但它们主要解决静态目的地的面向目标的导航，使得无人机视觉跟踪——持续跟踪移动目标，同时保持可见性——很大程度上不需要专门的训练数据。我们介绍 CosFlyTrack，这是一个用于城市环境中无人机视觉跟踪的大规模多模态数据集和可扩展生成管道。该数据集提供了从 6,000 条行人路径生成的约 12,000 个专家和扰动无人机轨迹，包括 240 万个时间步长（约 334 小时）和七个对齐的数据通道：RGB、度量深度、语义分割、六自由度无人机姿态、带有可见性标志的目标状态、双语（中英）指令和轨迹对元数据。为了生成高质量的专家轨迹，我们开发了 MuCO，这是一种多约束优化器，它通过 BVH 加速碰撞和可见性查询直接在连续三维空间中进行规划，共同执行目标可见性、视点质量、碰撞避免、平滑度和运动学可行性，避免基于网格的规划器的离散化伪影和事后平滑。 微调 对七个视觉语言模型的实验表明，CosFlyTrack 将跟踪性能提高到 78.3% 至 95.6% SR@1 米，比零样本基线提高 53 至 69 个百分点，支持该数据集作为动态目标跟踪代理的训练资源。该数据集可在 https://huggingface.co/datasets/AutelRobotics/CosFly 上公开获取；评估脚本和预先训练的检查点托管在 https://huggingface.co/AutelRobotics/CosFly-Track 上。