图像生成推理

思想链推理使大型语言模型（LLM）能够在回答之前将问题分解为中间步骤，从而彻底改变了自然语言处理。然而，将推理限制在文本领域对于需要直接操作视觉表示的任务来说存在限制。最近的努力通过外部视觉专家工具（例如深度估计或对象检测模块）增强了多模式大语言模型，但这些仍然从根本上受到它们对狭窄、僵化操作的依赖的限制，这些操作无法灵活地生成或转换视觉内容。我们提出了 ReImaGin，它利用图像生成模型作为多模态大语言模型的灵活视觉推理机制：与固定功能工具不同，它们接受自然语言命令并可以执行开放式视觉操作，例如消除遮挡或从房间的多个不相交视图生成平面图。在包括多视图空间推理和碰撞预测在内的六种不同的视觉推理任务中，ReImaGin 始终优于纯文本推理和专业视觉工具基线，增益高达 25%，展示了灵活的生成视觉推理的优势。