教 Molmo2Fish：通过自然语言指导实现交互式鱼类跟踪

计算机视觉越来越多地用于自动化大型生态数据集中的识别任务，但多目标跟踪等更复杂的任务继续带来挑战。随着研究人员寻求将视觉模型纳入生态工作流程，各种研究领域都在探索如何通过人机交互过程使不完美的预测变得有用。我们提出了一种新方法，通过交互式预测校正工作流程来处理不完美的跟踪预测，该工作流程作为与多模态 大语言模型 的对话进行，我们根据声纳鱼跟踪数据集进行定制，作为初始概念证明。我们研究了 Molmo2Fish 工具在引导和非引导任务中的性能，纠正其自身的预测轨迹和外部轨迹。我们发现 Molmo2Fish 在鱼类跟踪和轨迹校正任务上实现了高性能，但在结合自然语言指导方面仍有很大的改进空间。代码和数据可在 https://github.com/tidalove/molmo2fish 上公开获取。