论文

Monkey King Bang:统一的科学多模态基础模型

Monkey King Bang: A Unified Scientific Multimodal Foundation Model

模型架构新型架构

摘要

科学发现正日益从孤立的学科转向多领域推理,科学人工智能也面临着类似的转变。现有系统要么专门针对各个领域,要么主要通过文本标记化和基于提示的界面统一科学数据,限制了它们处理不同科学输入、产生模态本机输出以及支持跨科学领域的联合理解、推理和生成的能力。我们引入了 MKB,这是一种用于理解和生成的统一科学多模态模型,围绕共享的 Transformer 主干和模态定制的编码器、适配器和解码器构建。 MKB涵盖DNA、RNA、蛋白质、小分子、地球科学、医学图像等六大科学分支,支持生物序列、分子串、气象场、分割掩模等原生输出。训练遵循两阶段模态然后语言课程:第一阶段将特定模态组件与冻结的主干相结合,第二阶段使用混合科学和通用语料库将它们与语言主干进行整合。实验表明,MKB 在生物和分子基准方面实现了有竞争力的科学理解,为天气预报、生物生成和医学图像分割生成高保真本机输出,并在很大程度上保留了其 Qwen3-VL 主干网的一般功能。这些结果证明了所提出的范式的可行性,表明具有模态定制组件的共享主干模型可以为未来的跨领域科学多模态探索提供有希望的基础。该模型和代码可在 https://github.com/Shanghai-Academy-of-AI-For-Science/MKB 和 https://huggingface.co/sais-org/MKB 上公开获取。