EgoIntrospect：以自我为中心的数据集和以用户为中心的内部状态推理的基准

尽管在以自我为中心的视频数据集和基准方面做出了广泛的努力，但了解用户的内部状态（这对于实现无缝人工智能助理体验至关重要）仍然在很大程度上被忽视。在这项工作中，我们介绍了 EgoIntrospect，这是在用户驱动的场景中捕获的第一个以自我为中心的数据集，其自我注释明确揭示了用户与人工智能助手的交互意图。 EgoIntrospect 使用跨设备设置进行收集，提供同步视频、音频、注视、运动和生理信号。它由 60 名受试者的 180 小时录音组成，每个受试者的平均录音持续时间为 3 小时。利用 EgoIntrospect，我们形式化了一套以用户内部状态为中心的任务，包括情感体验、交互意图和认知记忆。我们进一步处理注释来构建基准，评估现代多模态 大语言模型 从以自我为中心的观察中推理用户内部状态的能力。我们的基准实验表明，现有的多模态 大语言模型 很难有效地利用多模态信号来推断用户的主观内部状态。数据集和注释将公开，以推进以自我为中心的视觉和可穿戴人工智能助手的研究。项目页面：https://ego-introspect.github.io/