MULTISEISMO：用于跨模态地震理解的多模态地震数据集和模型

由于缺乏集成文本和图像之外的多种数据模态的综合特定领域数据集，通用多模态模型（GMM）在专业科学领域的应用仍然受到限制。在地震学中，理解地震现象需要综合时间序列波形数据、地理图像和上下文元数据，这是现有地震数据集中缺乏的多模态集成。我们推出了 MultiSeismo，这是一个大规模结构化多模态地震数据集，包含跨越不同地理区域的 13 年（2010 年至 2023 年）超过 16000 个地震事件。每个事件数据都集成了来自全球站网络的波形记录、强度图、人口暴露可视化以及标准化 JSON 格式的全面文本描述。我们还开发了 MISCE，这是一种基于原始数据的多模态指令集，可以对从基本信息检索到复杂跨模态分析等地震推理任务的 GMM 进行监督训练和评估。我们利用 MISCE 来微调现有的多模态模型 (Unified IO 2)，该模型通过专门的时间序列编码器进行了增强，从而生成 SeisModal，这是第一个用于综合地震分析的特定领域多模态模型。对 MultiSeismo 上最先进的多模态模型的评估揭示了重大挑战，特别是通用模型的时间序列数据处理，同时展示了 SeisModal 在地震多模态推理任务上的卓越性能。这些结果证明 MultiSeismo 为未来地震学多模态研究提供了严格的基准，并验证了我们特定领域架构调整的成功。