论文
通过多模态检索增强生成进行科学图像质量评估
Scientific Image Quality Assessment via Multi-modal Retrieval-Augmented Generation
摘要
本文提出了一种用于科学图像质量评估的检索增强生成（RAG）框架，旨在同时解决 SIQA 挑战的理解轨道（SIQA-U）和评分轨道（SIQA-S）。我们构建了将文本语义与细粒度视觉特征相结合的多模态索引，并开发了多路径检索和融合机制，为大型语言模型提供高度相关的参考案例，从而增强其评估复杂科学图像的能力。实验结果表明，所提出的框架有效地符合人类专家的判断标准。最终，我们的方法在 ICME 2026 Grand Challenges 的 SIQA 挑战赛的 SIQA-U 赛道中获得了第一名。