用模式思考：通过模式归纳打破视觉规划的感知瓶颈

当输入的复杂性超出了其一步感知能力时，原始视觉输入的规划对于当前的视觉语言模型（VLM）来说仍然是一个重大挑战。受图像思维（TWI）最新进展的推动，一个合理的解决方案是通过迭代获取和合并局部视觉证据，将感知过程分解为更简单的步骤。然而，尽管当前的 VLM 在一般 TWI 能力方面训练有素，但它们在规划领域的感知瓶颈仍然存在。为了应对这一挑战，我们制定了 TWI 作为逐步构建和反映准确的内部世界模型的工具。我们发现，由此产生的 无需训练 规划策略使 VLM 能够解决远远超出其初始能力的任务，但代价是过多的 TWI 操作会显着增加计算开销。为了进一步提高效率，我们提出了模式推断，这是一种新颖的 TWI 策略，使 VLM 能够主动识别新任务中的已知视觉模式并直接推断局部世界模型结构。为了获得这些模式，我们提出了模式归纳，这是一种在线归纳学习策略，将视觉模式视为复合且可重用的专家，可以根据经验自主发现和优化。 FrozenLake、Crafter 和 CubeBench 领域的实验评估表明，我们的方法在准确性和效率之间实现了理想的平衡。