动态分辨率路由，实现高效的自我中心定位

以自我为中心的视觉基础需要高分辨率输入来定位小物体。然而，将多模态 大语言模型 扩展到此域受到视觉词元处理成本过高的限制。我们发现当前基于词元减少的有效策略对于选择以对象为中心的空间证据来说是不可靠的。为了克服这个问题，我们提出了 SmartRes，这是一个通过动态分辨率路由在像素空间中执行效率优化的框架。 SmartRes 首先对全局上下文的低分辨率视图进行编码，并使用轻量级路由器激活以对象为中心的区域中的高分辨率补丁，并构建一个保留顺序的视觉序列。为了进一步在严重的前景-背景不平衡下实现稳健的路由，我们引入了边缘正则化的路由目标，该目标可以增加前景-背景 logits 分离并提高前景召回率。 Ego4D 和 EgoIntention 上的实验表明，SmartRes 可将视觉标记减少高达 67%，同时保留 86.4% 的全分辨率性能，并且推理速度比最先进的标记减少方法快 1.66 倍，且精度更高。此外，小物体定位的强大性能表明 SmartRes 对于以自我为中心的应用程序的有效性。代码将公开。