论文

SciQNet:用于科学图像质量评估的两阶段多模态适应

SciQNet: Two-Stage Multimodal Adaptation for Scientific Image Quality Assessment

模型训练监督微调与指令调优

摘要

科学图像对于传达实验观察、定量证据和概念知识至关重要。与自然图像不同,它们的质量取决于视觉清晰度和科学信息量,这使得评估具有挑战性。在这项工作中,我们提出了 SciQNet,这是一种用于科学图像质量评估的两阶段多模态适应框架。第一阶段对科学文档图像进行领域自适应预训练,第二阶段进行具有联合评分和理解监督的特定任务 微调。对于面向评分的监督,我们将指令调整与源自评分词 logits 的 Huber 损失相结合,而面向理解的监督则被制定为多项选择视觉问答。实验表明,使用领域自适应数据的 40% 分层子集可在评估的预训练分数中提供最佳性能,这表明预训练数据相关性可能与预训练数据规模一样重要。最终模型的 SIQA-S 得分为 92.21,SIQA-U 得分为 47.38,综合得分为 69.80。这项工作展示了我们针对 ICME 2026 科学图像质量评估挑战赛的解决方案,该挑战赛在得分榜上排名第二。