论文
HAM-RAG：用于结构忠实交错生成的层次结构感知多模态 RAG
HAM-RAG: Hierarchy-Aware Multimodal RAG for Structure-Faithful Interleaved Generation
摘要
现有的多模态 RAG 方法通常将结构化文档扁平化为孤立的文本和图像单元，削弱了忠实证据选择和放置所需的源组织和本地文本图像逻辑。我们提出了 HAM-RAG，一种用于结构忠实交错生成的层次结构感知多模式 RAG 框架。 HAM-RAG 使用文档层次结构作为检索和生成的基础信号，将文本和视觉证据置于上下文中，并在提示中保留源位置和本地文本图像关系。我们进一步介绍 HAM-Bench，涵盖 Wukong、Wiki、arXiv 和 Recipe，涵盖游戏演练、网页、科学论文和逐步食谱文档。在多个骨干网中，HAM-RAG 将主要多模态平均值比最强的非分层基线提高了 17.3%。在 Wukong 上，HAM-RAG 将 Img-CBS 比最强的非分层基线提高了 24.2%，显示出更好的局部文本-图像对齐。主要实验和消融研究共同证明，文档层次结构是忠实图像选择、放置和局部文本图像对齐的关键基础信号。这些发现强调了可靠的多模式助手的层次结构感知基础的价值，这些助手可以生成忠实于源组织、程序结构和结构化文档（例如技术手册、维护指南和工业 SOP）的本地文本图像证据的答案。该代码可在 https://github.com/MCCodeAI/HAM-RAG.git 获取。