论文

Omni-Decision:面向全模态问答的渐进证据—状态智能体系统

Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA

智能体系统Agent 架构与控制循环

摘要

全模态证据寻答QA要求智能体回答证据稀疏分布于视频、音频、图像、网页与计算结果中的问题。既有的智能体多模态系统常把证据留在草稿板、工具轨迹或自由格式历史中——难以追踪哪些已落地、哪些仍缺失、证据何时足以作答。我们提出Omni-Decision:一个免训练的证据状态系统,把全模态QA转为查询范围的证据闭包过程。对每个查询,Omni-Decision维护结构化证据状态:含已确认证据、未解决冲突、事实与计算依赖、以及开放的证据需求;共享状态视图为规划、证据获取、验证、修复与定稿提供条件。来自媒体、网页、计算与验证模块的异构观察经规范化、评判并以确定性状态更新提交。该设计支持定向证据获取、保留稀疏跨模态线索,并对修复与停止提供可检查的控制。Omni-Decision在OmniGAIA取得45.6%、WorldSense取得58.3%——较基线分别提升27.3与30.2个百分点。无状态消融与轨迹审计进一步支持显式证据状态控制在多步全模态证据寻答中的作用。

Omni-Decision:面向全模态问答的渐进证据—状态智能体系统:论文配图
图 1:一项 OmniGAIA 任务的 Omni-Decision。系统首先将问题转化为公开的证据需求,将手表品牌放在视频中,根据剩余的证据差距进行网络搜索,使用网络验证来补全缺失的日期事实,计算月份差异,并返回有证据支持的答案。