论文

OMG-Agent:以解耦的由粗到细Agentic工作流迈向鲁棒缺失模态生成

OMG-Agent: Toward Robust Missing Modality Generation with Decoupled Coarse-to-Fine Agentic Workflows

上下文与知识检索增强

摘要

数据不完整严重阻碍多模态系统的可靠性。现有重建方法面临各自的瓶颈:传统参数化/生成式模型因过度依赖内部记忆而容易产生幻觉,检索增强框架则难以摆脱检索的僵化。关键在于,这些端到端架构在根本上受制于语义-细节纠缠(Semantic-Detail Entanglement)——逻辑推理与信号合成之间的结构性冲突,损害保真度。本文提出全模态生成智能体(OMG-Agent),一个把范式从静态映射转向动态由粗到细Agentic工作流的全新框架。OMG-Agent通过模仿“先深思后行动”(deliberate-then-act)的认知过程,显式地把任务解耦为三个协同阶段:(1) 由MLLM驱动的语义规划器(Semantic Planner),经由渐进式上下文推理消解输入歧义,创建确定性的结构化语义计划;(2) 非参数化的证据检索器(Evidence Retriever),把抽象语义锚定于外部知识;(3) 检索注入执行器(Retrieval-Injected Executor),把检索到的证据用作灵活的特征提示,以克服僵化并合成高保真细节。在多个基准上的大量实验表明,OMG-Agent持续超越最先进方法,并在极端缺失下保持鲁棒性,例如在70%缺失率下于CMU-MOSI上取得2.6分的提升。

OMG-Agent:以解耦的由粗到细Agentic工作流迈向鲁棒缺失模态生成
图1:OMG-Agent 概览:1) Planner,2) Retriever 和 3) Executor。三个智能体通过由粗到细的工作流程协同地将高层推理与低层合成解耦。