自主水下机器人软件中基于搜索的视觉语言模型变形测试

我们的行业合作伙伴专注于跨多个领域的工业系统的质量保证，包括海上系统，例如水上船舶和自主水下机器人（AUR）。尽管视觉语言模型 (VLM) 在场景理解、图像字幕和对象识别方面表现强劲，但它们在水下环境中运行的 AUR 软件中的使用尚未得到充分探索。因此，在这种情况下，评估 VLM 集成到 AUR 软件中的质量非常重要，因此需要自动化软件测试工具来评估其适用性并提高其可靠性。为此，我们提出了一种基于搜索的变质测试方法（MetaVLM），该方法可识别水下图像的最小变换集，以诱导错误的模型预测，从而揭示 VLM 故障。我们采用 NSGA-II 作为多目标搜索算法，并根据随机搜索基线在开源 VLM、BLIP 和 CLIP 上对其进行评估。结果证明了 AUR 软件系统中每个 VLM 的优势和局限性。根据结果​​，我们为致力于基于 VLM 的软件系统的质量保证的软件工程从业者和研究人员提供了经验教训。