WISE：Minecraft中带Why-Which推理的长程智能体

摘要

通过采用 LLM 增强的分层方法，在 Minecraft 等环境中开发通用具体代理方面取得了快速进展。尽管他们做出了承诺，但低级控制器常常由于重复的执行失败而成为性能瓶颈。我们认为，一个关键的限制不仅是缺乏情景记忆，而且是 \textit{what-where-when} 记忆与 \textit{which-why} 推理的脱钩。为了解决这个问题，我们提出 \textbf{WISE} （Which-Why Informed Semantic Explorer），这是一种长视野代理框架，具有增强的低级控制器，配备因果事件图，通过将观察结果与任务相关性联系起来的显式因果结构来增强情景记忆。与 MrSteve 等依赖特征相似性进行检索的先前工作不同，WISE 能够在观点变化下实现稳健的回忆，并通过因果推理支持机会性任务重新排序。在此记忆的基础上，我们提出了一个机会任务调度程序，当检测到因果相关的机会时，它可以动态地重新确定子任务的优先级。我们进一步为 WISE 配备了多尺度渐进式探索策略，为下游推理提供空间综合观测。实验表明，WISE 极大地提高了长期稀疏任务的任务成功率和效率，特别是在需要自适应决策的环境中。

WISE：Minecraft中带Why-Which推理的长程智能体：论文配图 — 图 1：WISE 与先前方法在三个关键功能方面的比较。因果记忆回忆：WISE 通过利用明确的因果知识（牛→\rightarrow 牛肉）来回忆之前观察到的奶牛“获取牛肉”的任务，而 MrSteve 仅依赖于视觉相似性。机会任务执行：WISE 动态地重新排序任务队列以利用偶然遭遇（例如，立即杀死附近的牛），而先前的方法严格遵循预定义的任务序列。视点变化下的鲁棒召回：WISE采用对视点变化不变的语义实体表示，能够从不同角度对奶牛进行一致的识别；先前的方法依赖于原始视觉特征，并且在视点变化时经常失败。绿色复选标记表示成功的行为。