经语言与符号表示间的模态切换做空间推理

人类推理本质上是多模态的：当问题变得困难时，我们很少单独用文字思考。我们经常通过绘制图表或网格来具体化我们的推理，以理解底层的概念结构并避免错误。在此前提下，我们的研究调查了：（a）与基于自然语言的推理相比，将多跳文本空间故事融入几何感知模式（例如布局或网格）是否可以改善推理； (b) 模型是否可以决定何时依赖自然语言推理以及何时切换到结构化模态。我们通过引入基于可信度和复杂性信号的切换指标来解决这些问题，该指标可以估计何时将空间故事融入结构可能会提高性能。这朝着大语言模型 (LLM) 推理中的原则模态选择迈出了第一步。在我们的设置中，从基于自然语言的推理切换到基于网格的表示可将 LLM 性能提高高达 42%，这凸显了模态选择在塑造推理结果方面的重要性。