论文
FlyMirage：通过生成世界模型实现多样化且可扩展的无人机飞行数据的全自动生成管道
FlyMirage: A Fully Automated Generation Pipeline for Diverse and Scalable UAV Flight Data via Generative World Model
摘要
在视觉语言导航（VLN）领域，航空数据集在结合规模、多样性和真实性方面的能力仍然有限，通常依赖于昂贵的现实世界场景或视觉上有限的模拟。为了应对这些挑战，我们推出了 FlyMirage，这是一种用于航空 VLN 的高度可扩展且完全自动化的数据生成管道。我们的方法利用 大语言模型 (LLM) 作为环境设计师来促进场景多样性，并搭配生成世界模型，将这些设计实例化为高保真 3D 高斯泼溅 (3DGS) 场景。为了大幅减少人力并确保飞行数据的可行性，FlyMirage实现了场景探索和语义信息获取的自动化，并进一步集成了用于无人飞行器（UAV）轨迹生成的动态可行规划器。利用该工具链，我们生成了大规模、多样化且逼真的航空 VLN 数据集。我们进一步在此数据集上微调广泛使用的 pi_0 模型，并展示我们的数据为模型在完全不可见的环境中导航的能力带来的改进，无论是在模拟还是在现实世界中。项目网站：https://lij1500.github.io/flymirage_website/ 。