通过多模态内存压缩进行长期具体决策

人们越来越期望代理不仅充当任务执行者，而且还代表人类用户充当决策者。这种转变要求代理长期积累证据，解释隐含的用户偏好，并在部分观察下比较多个候选者。在这项工作中，我们提出了 DunphyBench，这是一个新的基准，用于评估智能体在以人为中心的长期具体决策方面的表现，其中智能体必须在多个具体住房环境中导航，并做出符合多维人类偏好的决策。与通常侧重于程序规划或立即目标完成的标准体现推理任务不同，我们的设置要求智能体将多模式、多源输入集成到支持跨长期复杂推理的连贯知识中。评估结果表明，当前智能体与人类表现之间存在很大差距。此外，我们对最先进的 VLM 驱动代理的诊断表明，内存管理是瓶颈之一，原始多模态历史会引入干扰决策质量的噪声。受这一发现的启发，我们设计了 MeMento，这是一种以偏好为条件的多模式内存压缩器，它可以根据用户偏好和一组固定的内存标记，选择性地压缩来自长期历史的决策相关信息。实验表明，与最强基线相比，MeMento 帮助 VLM 驱动的代理将准确性提高了 7.18%，同时将内存使用量减少了 85.38%。