用于安全且逼真的无人机灯光秀的生成式人工智能

无人机灯光秀正在重新定义空中娱乐，但其广泛采用却受到劳动密集型的手动动画的阻碍。虽然生成式人工智能有望提供一种自动化的替代方案，但当前的框架无法提供流畅、动态运动的真实感。为了解决这一限制，我们引入了 SWAN，这是一种端到端管道，可直接根据文本提示合成逼真、大规模且无碰撞的无人机编排。 SWAN 将文本转换为真实的参考视频，并使用新颖的自适应点跟踪算法将这些像素空间动力学转换为物理群体运动学。与现有的跟踪器不同，该方法通过严重的遮挡和快速的拓扑变化来保持空间一致性。然后，专门的规划器将这些轨迹分配给各个无人机，而随后的安全过滤器则确保无碰撞执行。我们通过安全编排模拟的 2,000 架无人机编队来展示可扩展性，并在现实世界中密集的 49 架四轴飞行器群上验证物理可行性，所有操作完全在标准消费级硬件上进行。结合起来，这项工作展示了如何利用生成式人工智能来自动化多机器人编排设计，为无人机灯光秀提供一个易于使用的新框架。