论文

诊断资源受限视觉智能体中共享状态协作的失败模式

Diagnosing Failure Modes of Shared-State Collaboration in Resource-Constrained Visual Agents

智能体系统上下文与知识记忆Agent任务评测Agent记忆

摘要

模块化视觉推理系统日益依赖共享工作记忆进行多步协作,但低能力区间内中间状态演化的失败动态仍研究不足。我们以噪声累积为视角,研究弱学习者(4B--8B模型)协作推理的失败模式。我们提出CoSee,一个审计框架,将读-写-验证循环形式化,以追踪文档视觉问答中的信息流。在多页文档、图表与网页基准上,我们发现一种反直觉的退化:朴素的共享工作区往往放大幻觉而非消除幻觉。我们识别出两种主导失败模式:噪声强化(无依据的笔记被当作证据复用)与策略坍缩(新增上下文使模型转向欠明确的简短作答)。借助成本-准确率帕累托前沿,我们表明在缺乏显式验证时,增加计算可能与性能负相关。我们的发现表明,对资源受限的智能体而言,瓶颈不在推理深度而在通信保真度,这为可靠的模块化设计提供了轨迹级诊断与机制性基线。

诊断资源受限视觉智能体中共享状态协作的失败模式:论文配图
图 1:CoSee 概览。具有跟踪记录和完整性审计的共享板协作可以在严格的预算下实现受控的、成本标准化的评估。我们的研究发现,在小模型约束下,简单的板使用并不是可靠的胜利,而轻量级的验证板门可以减轻以图表为中心的故障。