EgoTools：在现实世界的自我中心视频中实现以工具为中心的推理

现实世界的具体任务，从日常活动到专业程序，都要求Agent在物理约束下行动，同时跟踪不断变化的对象和任务状态。工具的使用是此类任务的核心，因为许多日常和专业活动都是以工具为媒介的。理解它们需要对可供性、手动工具对象几何形状、程序进度以及对目标对象的因果影响进行推理。然而，尽管在字幕和一般视频 QA 等面向感知的视频任务上表现强劲，但当前的多模态视频模型在这种以工具为中心的具体推理形式上仍然受到限制。由于缺乏现实世界中以自我为中心的数据和诊断基准，这一方向的进展受到限制。为了解决这一差距，我们推出了 EgoTools，这是第一个用于理解以自我为中心的工具使用的综合套件。它由两个互补的组件组成：EgoTools-Data，一个包含 100 小时以工具为中心的自我中心录音的大型语料库，具有同步音频、密集的字幕、推理性很强的叙述和补充 3D 信息； EgoTools-Bench 是一个由 1,000 个 QA 对组成的诊断基准，涵盖四个轨道，涵盖从感知和几何到程序和因果推理的工具使用理解。实验结果表明，当前模型仍然难以在视觉证据中grounding工具的使用：Gemini-3.1-Pro 的总体准确率达到 66.9%，但在感知和grounding方面仅达到 51.7%。除了评估之外，我们还验证 EgoTools-Data 作为训练资源。在完整的 1,000 个问题基准测试中，在严格的源视频分离下，完全监督的微调将 Qwen3-VL-8B-Instruct 从 50.0% 提高到 60.9%。总之，这些结果使 EgoTools 成为一个统一的资源，用于对现实世界中以自我为中心的工具使用理解进行训练和诊断评估。