论文
EgoCITE:上下文增强索引和时间感知检索,用于长期自我中心记忆
EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory
摘要
长视野自我中心记忆将连续的第一人称视频和音频转化为过去经历的可搜索记录。我们展示了现有系统中的两个瓶颈:从上下文贫乏的标题构建的索引对于代理搜索来说是不可靠的,而检索则忽略了问题的时间意图。为了解决这两个瓶颈,我们引入了 EgoCITE(以自我为中心的上下文增强索引和时间感知证据检索),这是一种用于以自我为中心的 QA 的长视野代理记忆框架。 EgoCITE 由三个组成部分组成。 EgoScheme 使用本地多模态上下文将碎片视频字幕和语音记录转换为独立的原子内存索引。 EgoIndex 将互补的动作、活动、话语和对话表示组织成多个粒度的可搜索多视图内存索引。 EgoRetrv 将语义搜索与问题条件时间相关性评分和检索证据的管理相结合。我们在 EgoLifeQA、EgoMem 和 EgoR1-Bench 上评估 EgoCITE 的答案准确性和目标事件检索一致性。 EgoCITE 将代理记忆基线的准确性提高了至少 4.4--14.2%,同时比长上下文 LLM 代理降低了 36 美元\倍$的成本。