EgoAdapt：CVPR 2026 HD-EPIC VQA 挑战赛的多场景自我中心适应方法

摘要

本技术报告介绍了我们针对 CVPR 2026 HD-EPIC VQA 挑战的解决方案 EgoAdapt（通过类别、校准和一致性进行自我中心适应）。 HD-EPIC 评估视觉语言模型是否可以对真实的第一人称厨房视频进行推理，其中答案的证据可能是短暂的手部物体交互、较长的食谱轨迹、与固定装置的空间关系或微妙的注视线索。该基准包含 26K 多项选择题，涉及七个宏观类别：食谱、成分、营养、细粒度动作、3D 感知、物体运动和凝视。我们观察到，主要的困难不仅在于模型容量，还在于单个通用推理配方与基准的异构时间、空间和语义结构之间的不匹配。我们的方法 EgoAdapt 引入了三个推理时间组件：（1）具有每个类别提示、帧预算和采样率的类别条件路由； (2) 校准选项评分，通过字母标记可能性和生成一致性来评估所有候选答案，而不是仅依赖于直接生成； (3) 测试时一致性适应，聚合跨选项排列的预测和针对不明确情况的验证式提示。该设计比现有的 HD-EPIC 基线有了显着改进。