通过时间分割和语义抽象实现自我中心和外中心程序理解的框架

长期的自我/外在数据包含丰富的程序证据，但冗余、嘈杂且处理或保留成本高昂。我们提出了一个紧凑的框架，将连续的多模态工作场所视频转换为结构化的程序状态记忆，并作为工作环境模型（WEM）实现。受事件分割理论的启发，我们使用视觉上下文、位置、运动、叙述、凝视/物体交互和可选的外心工作空间证据的变化来检测边界，而不是单独使用固定窗口或视觉新颖性。每个片段都被抽象成一个与证据相关的事件卡，其中包含参与者、间隔、位置、动作、对象/工具、前/后状态、置信度和出处。这些事件卡逐步更新 WEM，从而在本地隐私限制下实现紧凑、可审核的文档和检索。我们使用冻结的 DINOv2 和 VJEPA-2 编码器以及本地语言模型实例化该设计，并概述了分割质量、内存压缩、检索保真度和长期 QA 的评估标准。