EgoProceVQA：一种具有自我技能探索代理的新型自我中心程序理解任务

大多数日常活动本质上都是程序性的。然而，现有的以自我为中心的视频理解评估很少涉及程序理解，并且在很大程度上忽视了广泛使用的 MLLM 视频问答 (VQA) 范式下复杂的关键步骤级推理。这些功能对于构建可部署在可穿戴设备上的程序人工智能助手至关重要。为了弥补这一差距，我们引入了以自我为中心的程序理解 VQA 任务（EgoProceVQA），该任务通过六种以关键步骤为中心的问题来系统地评估当前 MLLM 和代理的以自我为中心的程序推理能力。此外，我们还开发了 EgoProceGen，这是一个数据生成平台，可以有效地构建针对不同问题类型的 QA 数据。基于这个平台，我们构建了一个包含 3,600 个问题、四种常见程序场景和 31 项日常程序任务的基准。对 EgoProceVQA 的评估表明，现有的 MLLM 和代理在程序理解方面仍有很大的改进空间。因此，我们进一步提出了 EgoProceAgent，一个自我技能探索代理框架。我们设计了一个用于程序理解的通用工具库和一个跨工具和模型共享的标准化子技能库，从而无需 真值 监督即可进行自我探索。通过探索如何组合和选择子技能，代理发现了针对不同问题的有效技能策略，并在多个任务的开源模型中获得了最先进的性能。我们的基准测试、生成平台和代理框架共同为 EgoProceVQA 奠定了统一的基础。项目页面：https://z1oong.github.io/EgoProceVQA/。