QuPAINT：量子材料表征的物理感知多模态推理

通过光学显微镜表征二维 (2D) 量子材料需要定位剥离的薄片，并根据微妙的光学对比度和干涉色确定其层厚度，以选择适合器件制造的薄片。然而，模型面临着合成到真实领域的转变以及材料、基材、实验室和成像条件之间的变化。我们提出了 QuPAINT，一种用于可转移量子薄片表征的物理感知多模态框架。合成材料框架 (Synthia) 生成各种合成显微图像，同时保留层相关的光学行为。使用这些图像，我们构建了 QMat-Instruct，这是一个多模态指令数据集，具有从经过验证的注释生成的特定于图像的推理轨迹，并受限于可观察的光学线索。 QuPAINT 通过物理信息注意力 (PIA) 集成这些信号，将与基底相关的光学先验注入视觉表示中，以支持扎根的多模态推理。为了进行评估，我们引入了 QF-Bench，据我们所知，这是该问题最大的现实世界基准，涵盖不同的显微镜和基材条件。使用其经过验证的注释，我们研究计数、视觉基础、推理质量、置信度校准以及转移到看不见的材料。 QuPAINT-8B 大大优于现有方法，并为一般和单层薄片检测建立了最先进的性能。其他实验表明，基于图像的监督改进了严格的空间基础和置信度校准，同时保留了对看不见的材料的稳健的一般薄片检测。