寻求分割：全景参考分割的主动感知

现有的参考分割模型被动地处理从固定视角捕获的静态图像，限制了它们在嵌入式人工智能中的适用性，其中代理必须在连续的 360$^\circ$ 环境中执行主动感知。为了弥补这一差距，我们引入了一项新任务：主动全景参考分割（APRS）。在此设置中，代理需要调整其观察方向（$Δθ，Δφ$）来探索 360$^\circ$ 环境，寻找用户指令指定的对象进行分割。为了解决这一具有挑战性的任务，我们提出了 PanoSeeker，一种用于高效 APRS 的记忆增强代理。 PanoSeeker 不依赖启发式扫描，而是将视觉语言模型 (VLM) 与 EgoSphere（一种显式空间视觉记忆）集成。通过逐步将连续的局部观察结果集成到统一的 360$^\circ$ 表示中，EgoSphere 使代理能够规划高效且非冗余的搜索轨迹。一旦找到目标，代理就会执行主动视点对齐并输出分割掩模。此外，我们还为监督 微调 策划了一个带有专家注释的搜索轨迹数据集，其中包含内存时间线，然后是强化学习 后训练，以显式优化 PanoSeeker 的探索效率。对我们新建立的 APRS 基准进行的大量实验表明，PanoSeeker 实现了卓越的搜索效率和分割精度，显着优于经过调整的最先进基准。