MuSEAgent：具有状态体验的多模式推理代理

研究人员最近在跨异构文本和视觉源的信息搜索和合成方面取得了重大进展。在本文中，我们介绍了 MuSEAgent，这是一种多模式推理代理，它通过扩展研究代理发现和利用状态体验的能力来增强决策。我们提出了一种状态体验学习范式，而不是依赖于轨迹级检索，该范式通过事后推理将交互数据抽象为原子决策体验。这些经验被组织成一个经过质量过滤的经验库，支持推理时策略驱动的经验检索。具体来说，MuSEAgent 通过互补的广度和深度搜索策略实现自适应体验开发，允许代理动态检索跨不同组合语义观点的多模态指导。大量实验表明，MuSEAgent 在细粒度视觉感知和复杂的多模态推理任务上始终优于强大的轨迹级经验检索基线。这些结果验证了状态体验建模在改进多模式代理推理方面的有效性。