论文

HiKEY:面向开放域文档问答的层次化多模态检索

HiKEY: Hierarchical Multimodal Retrieval for Open-Domain Document Question Answering

上下文与知识检索增强

摘要

面向大规模工业语料中文档型开放域问答(ODQA)的检索增强生成(RAG)面临两个关键瓶颈:定位正确文档时的路由失败,以及整合分散信息时的证据碎片化。依赖扁平文本块或页面级图像的现有方法天然难以:(i)在数千候选中精确定位目标文档;(ii)在有限token预算内有机关联表格、插图等多模态证据。为应对这些挑战,我们提出HiKEY,一个层次化树状多模态检索框架,它将文档层次提升为一级检索信号。HiKEY不采用简单分块,而是通过文档层次解析(DHP)重建逻辑异构图,显式编码父子关系。采用层次化由粗到细策略,该框架:(1)利用层次索引执行全局路由以快速剪枝搜索空间;(2)进行细粒度检索,通过捕捉最具判别力证据的多模态融合策略对各章节排序。最后,HiKEY通过结构与语义混合打包策略组装出token高效的证据子图。在ODQA基准上的实验表明,HiKEY显著优于基于页面和分块的基线,检索召回率最多提升12.9%,端到端问答性能最多提升6.8%。

HiKEY:面向开放域文档问答的层次化多模态检索:论文配图
图 1:HiKEY 概述,显示 1. 离线层次感知图和索引构建; 2. 在线分层从粗到精检索(Stage-1 文档路由,然后是 Stage-2 部分评分); 3. LVLM 阅读器的祖先感知证据子图组装。