IMAC-AgriVLN：农业视觉和语言导航代理能否意识到指令错误？

农业机器人在广泛的任务中发挥着重要作用，但它们仍然主要依靠人工操作或固定铁路进行移动。 A2A基准和AgriVLN方法开创性地将视觉和语言导航（VLN）扩展到农业领域，成功地按照自然语言指令将农业机器人从起点导航到目标位置。然而，我们观察到几乎所有现有的 VLN 方法都采用了一个理想的假设：给定的指令本身是正确的。这个假设与现实场景并不相符，因为任何人都可能会说出一条有错误的指令，这给我们提出了一个问题：如果一条指令有错误，农业VLN代理能意识到吗？为了回答这个问题，我们提出了 A2A-MI 基准，其中我们以 A2A 作为基础基准，并插入三类指令错误。我们用它来评估几种最先进的农业 VLN 代理，然后观察到所有这些代理都有足够的下降，例如 AgriVLN 平均将 SR 降低 57%，将 NE 平均提高 9%，从中我们表明缺乏对指令错误的认识。为了解决这个问题，我们提出了IMAC模块来分析指令和图像，以推断指令是否有错误，并在需要时尝试纠正它们。我们将其集成到 AgriVLN 主干中构建我们的 IMAC-AgriVLN 方法，成功地将 SR 从 0.10 节省到 0.14，将 NE 从 4.81 m 节省到 4.79 m，这证明了 IMAC 在增强针对指令错误的鲁棒性方面的有效性。项目：https://github.com/AlexTraveling/IMAC-AgriVLN。