EgoExoMem：同步自我中心和外中心视频的跨视图记忆推理

自我中心记忆广泛应用于具身智能，但它可能不足以进行全面的时空推理。受人类从现场和观察者角度回忆的启发，我们推出了 EgoExoMem，这是针对同步的自我中心和外中心视频进行跨视图记忆推理的第一个基准。 EgoExoMem 包含 2,600 美元的高质量 MCQ，涵盖八种时间、空间和跨视图 QA 类型。为了支持双视图检索，我们提出了 E$^2$-Select，一种用于同步 ego-exo 视频的 无需训练 帧选择方法。它将基于相关性的预算分配与每个视图的 k-DPP 采样相结合，以处理视图不对称性和跨视图时间一致性。实验表明，ego 和 exo 视图提供了互补的记忆线索，而现有的 MLLM 距离解决基准测试还很远：最好的模型仅达到 $55.3\%$。 E$^2$-Select 在帧选择和基于 RAG 的内存基线上实现了 $58.2\%$ 的最先进性能。进一步的分析揭示了问题框架和答案基础之间系统性的视图偏好冲突，强调了跨视图记忆推理的新颖性和挑战。