论文

用漫画思考:通过结构化视觉叙事增强多模态推理

Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling

模型推理推理策略与问题分解

摘要

思维链推理已推动大语言模型从用文本思考扩展到用图像和视频思考。然而,不同模态仍有明显局限:静态图像难以表现时间结构,而视频则引入大量冗余与计算成本。在这项工作中,我们提出用漫画思考(Thinking with Comics)这一视觉推理范式,将漫画用作介于图像与视频之间的高信息密度媒介。漫画在保留时间结构、内嵌文本与叙事连贯性的同时,所需推理成本显著更低。我们系统地研究了基于漫画的两条推理路径,并在一系列推理任务与长上下文理解任务上进行评估。实验结果显示,在多步时间与因果推理任务上,用漫画思考优于用图像思考,同时比用视频思考高效得多。进一步分析表明,不同的漫画叙事结构与风格在各任务上一致地影响性能,这说明漫画可作为改进多模态推理的有效中间视觉表示。

用漫画思考:通过结构化视觉叙事增强多模态推理
图2:“Thinking with Comics”范式两条路径的概览。路径 1 直接利用图像生成模型创作一幅漫画,其中生成漫画的过程即构成对该问题的推理过程,并通过提取漫画的最后一个面板得到答案。路径 2 将生成的漫画连同原始问题一起作为上下文输入 VLM,由其进行推理并输出答案。