MCERF：通过增强检索推进工程文档的多模式 LLM 评估

工程规则手册和技术标准包含多模式信息，例如密集的文本、表格和插图，这对检索增强生成 (RAG) 系统来说具有挑战性。这项工作以依赖于全文摄取和基于文本的检索的 DesignQA 框架 [1] 为基础，建立了多模态 ColPali 增强检索和推理框架 (MCERF)，该系统将多模态 检索器 与 大语言模型 推理相结合，以便从工程文档中准确高效地回答问题。该系统采用 ColPali，可检索文本和视觉信息，以及多种检索和推理策略：（i）用于明确规则提及的混合查找模式，（ii）用于图形和表格引导查询的视觉到文本融合，（iii）用于复杂多模态问题的高级推理 LLM 模式，以及（iv）用于稳定响应的自我一致性决策。无论底层模型架构如何，模块化框架设计都为未来的多模式系统提供了可重用的模板。此外，这项工作建立并比较了两种路由方法：单例路由方法和多代理系统，这两种方法都将查询动态分配到最佳管道。 DesignQA 基准评估表明，该系统提高了所有任务的平均准确度，相对于基线 RAG 最佳结果提高了 +41.1%，这对于没有完整规则手册摄取的多模式和推理密集型任务来说是一个显着的改进。这展示了视觉语言检索、模块化推理和自适应路由如何在工程用例中实现可扩展的文档理解。