论文
Ambient @ EgoLongQA 2026:将长视频感知提炼为 Sub-2B 模型
Ambient @ EgoLongQA 2026: Distilling Long-Video perception into a Sub-2B Model
摘要
我们描述了 ECCV 2026 中可穿戴人工智能挑战赛 EgoLongQA 赛道的参赛情况,该赛道在 <=2B 参数组中排名第一,在测试集上得分为 0.8279。我们的系统是一个单一的 2B 视觉语言模型,可以在一次贪婪的前向传递中回答有关 10 分钟自我中心视频的多项选择题;它是通过将使用代理管道的工具的初级感知模块(而不是代理本身)提炼成小学生而获得的,使用过滤到正确回答的教师痕迹。它使用 1.1% 的参数就达到了大型代理管道的 89% 的精度。这将我们保留的问题的 27.1% 基本模型提高到 81.4%。 2B 主干有 2.2132B 参数,因此超出了分区限制,为了使条目可接受,我们将多语言嵌入表从 248,320 行修剪到 143,469 行,达到 1.9985B,并在保留行上证明相同的 logits。