VTO：用于视频异常检测的可视化工具编排

由于现实场景的复杂性和多样性，视频异常检测（VAD）是一项关键但具有挑战性的任务。传统的深度学习方法从根本上受到不同场景泛化能力差的限制。虽然多模态代理为 VAD 提供了一种有前途的工具学习范例，但当前依赖于监督 微调 的系统难以应对复杂的编排，而且标准强化学习通常会因粗粒度的结果奖励而导致提前终止。为了应对这些挑战，我们提出了 VTO，一种过程监督的强化学习框架。 VTO 超越了静态工具的使用，使代理能够动态探索环境并与环境交互。具体来说，我们引入了一个基础模型驱动的认知评估器来提供上下文感知的语义反馈，该反馈无缝集成到流程监督的认知对齐中，从而提供细粒度的逐步监督。通过明确惩罚逻辑截断并奖励完整的因果链，代理优化了其用于相互关联的工具编排的多步骤推理策略。为了支持我们提出的框架，我们精心制作了VAD-Tool，这是一个分层视觉工具集，包含从实体跟踪到高风险危险检测的12个专业视觉工具，并为严格的多步骤推理评估建立了相应的基准。 VAD-Tool 上的大量实验表明，VTO 显着优于基线，在工具调度方面实现了高达 10.2% 的绝对精度改进。代码和数据可在 https://github.com/MICLAB-BUPT/VTO 获取。