多模态文档推理智能体的混合 检索器 演进

不同的 检索器，包括词汇、语义和多模态方法，为多模态文档理解提供了高度互补的优势，但大多数系统通过固定的管道将它们组合起来，无法适应单个推理步骤的需求。在这项工作中，我们询问检索编排本身是否可以作为推理过程的一部分进行学习。我们引入了一个故障驱动的进化框架，其中元智能体自主发现使用工具的任务智能体在多步骤文档问答过程中应如何协调不同的 检索器。元智能体分析不正确的推理轨迹，主动探测相同的工具环境来诊断根本原因，并迭代地重写任务智能体的指令，将检索从固定的前端阶段转变为自适应的、逐步的推理决策。进化后的智能体学习何时调用每个 检索器、如何组合它们以及如何跨模式和页面撰写证据。在 MMLongBench-Doc 和 DocBench 上，进化后的智能体比未进化的基线提高了高达 +19.6 分，并且始终优于最新的系统，包括 MACT、MDocAgent 和 SimpleDoc。详细的检索分析证实，这些改进源于自适应路由和证据组合，而不是依赖于任何硬编码检索模式，并且进化动力学揭示了从狭窄的词汇行为到丰富的多工具协调的逐步转变。这些发现将自主多智能体协调确立为多模态文档推理的有前景的范例。