UnAC：具有抽象和逐步检查复杂多模态推理的自适应视觉提示

尽管最近的 LMM 在视觉感知方面变得更加强大，但它们对于需要对视觉证据进行多步骤推理的问题仍然不可靠。在本文中，我们提出了 UnAC（理解、抽象和检查），这是一种多模态提示方法，可增强 LMM（例如 GPT-4o、Gemini 1.5 和 GPT-4V）中复杂多模态任务的推理。为了提高图像理解并捕捉精细细节，我们提出了一种自适应视觉提示策略，使 LMM 能够专注于显着区域。我们进一步设计了图像抽象提示，以有效地从图像中提取关键信息。此外，我们引入了一种渐进式自检方案，通过验证每个分解的子问题及其答案来改进推理。对三个公共基准测试（MathVista、MM-Vet 和 MMMU）进行了广泛的实验。