航空世界:通过惯性控制生成动作条件航空视频
Aero-World: Action-Conditioned Aerial Video Generation from Inertial Controls
摘要
基础视频模型产生了令人印象深刻的视觉结果,但它们在具体人工智能中的使用仍然有限,因为它们主要接受自然语言而不是低级控制信号的训练。这种限制对于空中飞行尤其明显,其中运动发生在不受约束的 6 自由度空间中,自我运动中的小误差可能会产生较大的轨迹漂移。生成遵循细粒度惯性动作的航空视频可以通过为现实世界或昂贵的模拟数据提供可控代理来支持航空代理的可扩展训练和评估。为了解决这个问题,我们提出了 \textbf{Aero-World},一种将预训练的图像到视频扩散模型转换为可控航空视频生成器的方法。 Aero-World 通过动作词元流将平移加速度和角速度序列注入到预训练的潜在扩散 Transformer 中。冻结潜在空间物理探针在真实视频 IMU 对上独立训练,在 LoRA 微调期间提供可微分的惯性一致性监督,同时避免计算成本高昂的视频解码。我们进一步提出 \textbf{AeroBench},这是一个评估生成的无人机视频是否遵循低级动作信号的基准。 AeroBench 使用动作对齐分数 (AAS) 来衡量与命令惯性动作的一致性,并使用物理一致性率 (PCR) 来衡量时间运动稳定性。在 AeroBench 上,Aero-World 将平均 AAS 从仅动作微调的 57.7 提高到 63.6,并提供了比 AirScape 更强的质量控制权衡,具有更低的 FVD(596.5 与 1058.6)、更高的 SSIM(0.595 与 0.505)以及更高的 Flow-IMU 相关性(0.44 与 0.20)。这些结果表明,冻结物理探针监督是一种实用的机制,可以使预训练的视频生成器适应更符合动作的空中运动。