MARS：EgoVis 2026 上 CASTLE 挑战赛的技术报告

本报告介绍了 MARS（带有源选择的多模式代理推理的缩写），这是我们在 EgoVis 2026 上举行的 CASTLE 挑战赛的系统。参与者必须回答有关 CASTLE 2024 数据集的 185 个封闭式问题。与之前的单视频自我中心基准相比，CASTLE 需要对四天的活动、15 个同步视角、官方记录和多种辅助模式（包括个人照片、辅助视频、注视、热图像和心率测量）进行推理。因此，MARS 将该任务视为多模式来源的代理证据选择问题，而不是纯粹的纯文本管道。 MARS 首先遵循官方 CASTLE 目录组织，从两个主要来源（视频和文字记录）和四个辅助来源（凝视、心率、照片和热图像）建立证据记忆。长视频被转换为字幕和基于 DeepSeek 的摘要，只是因为 CASTLE 视频太长，无法直接适合每个问题的模型上下文；此步骤压缩时间证据，同时保留照片和其他辅助媒体作为特定来源的证据。在推理时，GPT-5.4 决策代理会反复选择是否继续推理、请求特定的缺失模式、产生答案，或者在证据仍然不足时退回到随机选项。最终的系统在最终的 CASTLE Challenge 排行榜上获得了第二名。我们的代码可在 https://github.com/Hyu-Zhang/MARS 获取。