带4D时空嵌入的自监督多模态世界模型

摘要

我们提出DeepEarth，一个自监督多模态世界模型，配备Earth4D——一种新颖的行星级4D时空位置编码器。Earth4D将3D多分辨率哈希编码扩展到包含时间，在亚米、亚秒精度下高效扩展至整个行星和数个世纪。多模态编码器（如视觉-语言模型）与Earth4D嵌入融合并通过掩码重建训练。我们通过在生态预测基准上取得最先进性能展示了Earth4D的表达能力。带可学习哈希探测的Earth4D超越了在多得多的数据上预训练的多模态基础模型。开源代码与模型下载见https://github.com/legel/deepearth。

带4D时空嵌入的自监督多模态世界模型 — 图1：DeepEarth概览。在某一事件（如传粉）周围采样的被掩蔽多模态数据（如图像、文本）被编码并与Earth4D时空嵌入融合。这些通用token被联合编码，随后被掩蔽的数据被归纳式地解码与模拟。