论文
InSight-doc:用于长文档理解的代理视觉感知
InSight-doc: Agentic Visual Perception for Long-Document Understanding
摘要
长文档的理解通常需要对许多视觉丰富的页面进行推理,这使得推理成本高昂并且容易导致上下文腐烂。在这项工作中,我们提出了 InSight-doc,一种代理视觉感知框架,将视觉分辨率视为自适应推理时间资源。 InSight-doc 从低分辨率开始,有选择地放大到高分辨率区域以获得更精细的证据,而不依赖于任何外部 检索器。为了训练这样的代理,我们构建了一个由 17.9K 个高质量 SFT 示例组成的主动感知语料库,这些示例具有区域级放大轨迹,并附有 19.2K 个硬 RL 示例。通过 SFT+RL,InSight-doc-8B 将基线比文档 VQA 基准提高了 4.3--16.4 个精度点。在长文档上,它可以将幻觉减少 40% 以上,将推理延迟减少 41%--68%,同时保持准确性领先。我们的代码、数据集和模型发布在 https://github.com/m-Just/InSight-doc 。