迈向物理学——科学图表的忠实生成

文本到图像的生成已经达到了逼真的质量，但最先进的系统在生成科学图表方面仍然不可靠，其价值不取决于外观，而是取决于物理忠实性：正确的力方向、有效的坐标系、一致的热力学状态以及与所描绘的场景相匹配的方程。通过使用具有浅层标题的网络图像进行训练，通用模型生成的图表看起来似乎合理，但实际上是错误的，对教育和科学传播有害。我们介绍 Princigram，一种忠实于物理的科学图表生成器及其数据管道。我们的核心进展是结构化物理思想链（SP-CoT）：一种按子学科的模式，将物理图分解为跨六个子学科的明确的多步骤推理链，从场景识别到力或过程分析，再到控制定律和综合。与自由形式的思想链不同，SP-CoT 遵循具有严格保真度规则的固定模式，将视觉基础事实与物理推断推理分开，并以符号方式输入所有数学；它既可以作为密集的训练监督，也可以作为推理的结构化“思维”提示。借助它，我们对 430 万张物理图像进行了管理和结构注释，其中 115,037 张进行了专家级注释，并采用了统一的多模态主干。我们进一步介绍 VeriphyT2IBench，其问题源自每个提供的图表自己的结构化注释：每个图表都成为关于其对象、力和状态的特定项目的二元问题库，因此判断模型的分数分解为指定的物理事实，而不是一个整体数字。在 GenExam 的物理子集和 VeriphyT2IBench 上，Princigram 表明显式物理结构监督改进了生成的科学图的物理 忠实性。