FactCheck：通过多主体协作进行可行性感知的长期行动预期

长期动作预期（LTA）旨在从部分观察的视频中预测未来动词-名词动作的有序序列。虽然这项任务是体现智能的基础，但预测物理上可行的长期行动仍然是一个严峻的挑战。以开环方式运行的现有方法经常会产生不存在的对象的幻觉、违反对象可供性或忽视对象状态，因为它们缺乏明确的机制来验证针对物理环境的操作可行性。为了解决这个问题，我们提出了 FactCheck，一种新颖的多智能体协作框架，通过闭环“观察-计划-验证”机制提高可行性。 FactCheck将复杂的LTA任务分解为专门的角色：观察者从视频观察中识别历史动作并构建双重形式的结构化记忆，包括捕获高级人类意图和环境状态的历史动作摘要，以及编码对象状态和时间依赖关系的历史动作图；一个规划器，根据底层历史行动和高级历史行动摘要生成未来行动草案；验证者根据历史行动图严格验证草案并细化不可行的行动。 EPIC-Kitchens-55 和 EGTEA Gaze+ 基准的大量实验表明，FactCheck 的性能始终优于最先进的方法。我们的工作为具有可行性的长期行动预期建立了一个新的范式，有效地闭合了行动识别、行动预测和行动验证的循环。