论文
IMPACT-CYCLE:基于契约的多智能体系统,用于长视频语义记忆的论断级监督纠正
IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory
摘要
纠正长视频理解中的错误成本高昂:现有的多模式管道产生不透明的端到端输出,不暴露中间状态以供检查,迫使注释者重新访问原始视频并从头开始重建时间逻辑。核心瓶颈不仅仅是生成质量,而是缺乏监督界面,通过该界面可以将人力与每个错误的范围成正比。我们提出了 IMPACT-CYCLE,一个监督多智能体系统,它将长视频理解重新表述为共享语义记忆的迭代论断级维护——结构化的、版本化的状态编码类型声明、声明依赖图和来源日志。在显式权威契约下运行的角色专业代理将验证分解为本地对象关系正确性、跨时间一致性和全局语义一致性,并将更正仅限于结构上依赖的声明。当自动证据不足时,系统升级为人工仲裁,作为监督机构,拥有最终推翻权;然后,依赖性关闭重新验证可确保纠正成本与错误范围保持成正比。 VidOR 的实验表明,下游推理得到了显着改善(VQA:0.71 至 0.79),人工仲裁成本降低了 4.8 倍,工作量显着低于手动注释。代码将在 https://github.com/MKong17/IMPACT_CYCLE 发布。