论文

SearchWorld:空间记忆与世界模型支持无人机目标搜索

SearchWorld: Spatial Value-Grounded Imagination for UAV Object Search via World Models

摘要

自主无人机(UAV)目标搜索涉及部分可观测下的感知、决策和行动的闭环。城市环境带来了一些挑战:大的搜索区域和狭窄的以自我为中心的视图限制了覆盖范围,密集的 3D 几何形状限制了安全运动,开放世界的指令需要在干扰物中识别出特定的目标。许多现有方法通过显式映射或记忆表示来减轻部分可观察性,但在很大程度上仍然是反应性的,对过去的观察进行推理,而没有明确预测未来的状态。世界模型通过想象的Rollout实现前瞻性推理。然而,图像生成世界模型可能会产生较高的推理延迟,而空间Grounding规划对于潜在世界模型仍然具有挑战性。我们提出了 SearchWorld,这是一种循环状态空间世界模型,它将显式空间记忆与价值引导的想象力联系起来。该模型维护 BEV 探索和障碍物记忆,并解码任务感知空间值层以指导搜索。认知-行动网络使用这个 在通过想象的Rollout来改进策略之前学习空间价值,而无需培训单独的标量Critic。培训从世界模型学习发展到专家模仿和基于想象力的探索细化。在 UAV-ON 上,SearchWorld 将成功率提高到 23.8%(最强的已发布Agent为 19.5%),并将预言成功率提高到 35.5%,同时在未见过的场景上保持稳健(19.9% 的成功率)。通过将想象力建立在明确的空间表征中,SearchWorld 使无人机Agent能够前瞻性地计划而不是做出反应。

SearchWorld:空间记忆与世界模型支持无人机目标搜索:论文原图
图 1:SearchWorld 概述及其三阶段课程。面向任务的 RSSM 世界模型对 RGB 视图、指令和显式空间认知记忆进行编码,并对观察、空间记忆、任务感知价值层和无人机动作进行解码。认知-行动网络在第二阶段训练行动策略,并通过汇集想象的行动足迹的解码值来细化第三阶段的运动行动。