UNIEGO：代理作为统一自我中心视频表示学习的中介

以自我为中心的视频理解本质上受到可穿戴相机狭隘视角的限制：单一视点、单一模式、单一模型无法捕捉人类行为的全部丰富性。我们认为，真正富有表现力的以自我为中心的表示必须包含跨观点、模式和基础模型表示的补充知识，但仍然可以仅从以自我为中心的视频中部署。为此，我们引入了一个分层多教师 蒸馏 框架，该框架产生 UNIEGO，这是一个统一的以自我为中心的编码器，由九名教师进行训练，涵盖自我-外在观点、RGB、深度和骨架模式，以及四个基础模型。我们的框架不是直接从异构教师中提取，这些教师的不兼容的架构和特征几何会导致冲突的梯度，而是插入一层特定于表示的代理模型，将不同的教师知识转化为同质的自我中心空间。第二个 蒸馏 阶段，选择性代理 蒸馏 (SPD)，然后为每个训练样本自适应地选择既正确又自信的代理子集，专门从可靠的监督中提取并抑制错误信号。通过将 UNIEGO 初始化为代理参数的学习凸组合，在 蒸馏 开始之前将统一模型放置在损失景观的条件良好的区域中，可以进一步稳定 SPD。 UNIEGO 在三个以自我为中心的视频理解任务（动作识别、视频检索和动作分割）中，在三个具有挑战性的 ego-exo 基准上实现了最先进的性能，超越了朴素的多教师 蒸馏 基准，并证明结构化、代理介导的知识转移可以产生更丰富、更具辨别力的自我中心表示。