论文

具有 4D 信息检索的主动世界模型,用于探索和认知

Active World-Model with 4D-informed Retrieval for Exploration and Awareness

模型架构新型架构

摘要

物理意识,尤其是在大型动态环境中,是由感知决策决定的,这些决策决定了跨空间、时间和尺度的可观测性,而观测会影响感知决策的质量。这种循环的信息结构使得物理意识成为具有部分观察的根本性挑战性决策问题。虽然在过去的十年中,我们见证了强化学习 (RL) 在完全可观测性问题上取得了前所未有的成功,但部分观测的决策问题(例如 POMDP)在很大程度上仍然是开放的:现实世界的探索成本过高,而模拟到真实的管道则受到未观察到的观点的影响。我们引入了 AW4RE(具有 4D 信息检索的主动世界模型以进行探索),这是一种以意识为中心的生成世界模型,为探索传感查询提供了传感器原生代理环境。以查询的感知动作为条件,AW4RE 估计以动作为条件的观察过程。这是通过将 4D 信息证据检索、动作条件几何支持与时间一致性以及条件生成完成相结合来完成的。实验表明,在极端视点变化、时间间隙和稀疏几何支持下,AW4RE 比几何感知生成基线产生更扎实、更一致的预测。