论文

OCC4M:以对象为中心的 4D 内存,用于长视野操作中的时空推理

OCC4M: Object-Centric 4D Memory for Spatiotemporal Reasoning in Long-Horizon Manipulation

上下文与知识上下文工程

摘要

长视野操作通常需要对当前视图中不存在的状态进行推理,例如消失的对象的位置、时间身份或打乱的容器的内容。我们提出了 OCC4M(“Occam”),一种以对象为中心的 4D 内存,它在共享世界框架中维护持久轨迹,并明确表示时间、运动和包含关系。视觉语言模型 (VLM) 查询此结构化内存以选择可操作的目标,以进行无历史记录的低级执行。在 7 个模拟条件和 350 个场景中,OCC4M 实现了 96.6% 的内存成功率和 88.9% 的端到端成功率,而 FrameSamp 的成功率分别为 54.6% 和 57.7%,FrameSamp 是使用 Gemini 3.7 Flash 的原始历史 VLM 基线,具有完整的观察历史记录和相同的执行器。在受控视点转移测试中,OCC4M 在视点变化后仍保持 100% 的内存和 98% 的端到端成功率,而全历史 FrameSamp 的成功率几乎为零。在 20 个固定摄像机 Franka 片段中,OCC4M 的联合记忆准确度达到 85%,而 FrameSamp 的联合记忆准确度最多为 30%,跨上下文大小从 $K=16$ 到完整历史记录,并完成了完整两阶段任务的 45%。这些结果支持显式的以对象为中心的记忆,用于长视野操作中的持久时空推理。此 https URL 提供定性视频。