光学推理：把图像重新构想为超越文本的推理表达媒介

思想链 (CoT) 提高了大型语言模型 (LLM) 的性能，并已扩展到多模态大型语言模型 (MLLM)。最近的工作进一步从基于文本的多模态推理转向交错模态推理，其中中间步骤可以结合文本原理和视觉证据。在这项工作中，我们提出了一个更大胆、更雄心勃勃的想法：仅图像可以作为语言和多模态任务的推理媒介吗？为了探索这一点，我们提出了光学推理，它将图像视为独立的推理媒介。我们用两个变体来实例化这个概念：基于印刷的光学推理，它优化紧凑原理渲染的视觉布局，以及基于图形的光学推理，它将文本和图形元素组合成结构化的视觉原理。在数学、科学和交错模态推理基准上，光学推理可以匹配甚至超越传统文本推理，同时在语言任务上平均减少 28.57% 的推理标记，在多模态任务上平均减少 16% 的推理标记，实现文本推理标记效率的 1.96 倍。这些结果表明，图像可以有效且高效地编码基本原理，同时为推理提供统一的视觉画布。