VTOS：通过共同搜索解决方案和观察者来学习编排视觉工具

开放词汇检测器、分割模型和后处理运算符等视觉基础工具是计算机视觉的强大构建模块，但它们的有效性在很大程度上取决于它们的编排方式：使用哪些工具、以什么顺序、使用什么参数以及在什么视觉条件下使用。现有的视觉编程代理通常会生成固定的解决方案管道，这使得它们在密集对象、遮挡、小目标和域转移的情况下变得脆弱。我们引入了 VTOS（视觉工具编排搜索），这是一个通过联合解决方案-观察者搜索进行自适应视觉工具编排的框架。 VTOS 共同搜索组成视觉工具（例如 Grounding DINO、SAM、NMS 和切片检测）的可执行解决方案程序，以及诊断候选解决方案、识别故障模式并生成可操作反馈的观察程序。这些观察结果积累在共享的 VisionThoughts 知识库中，以指导后续搜索。我们通过两个案例研究评估 VTOS：LVIS-Count 上的密集对象计数和 PlantSeg-OOD 上的零样本植物病害分割，它们强调不同的编排挑战，包括阈值校准、NMS、切片、掩模细化和域泛化。在这两项任务中，VTOS 的性能都优于静态工具管道和代理视觉编程基线，特别是在复杂的设置中，例如密集、遮挡的场景和分布外分割，其中静态管道留下了可测量的空间，而不是在标准任务中，在标准任务中，单个经过良好校准的工具已经接近其上限。