论文

TerraNova:人类世的基础模型

TerraNova: A Foundation Model for the Anthropocene

模型训练预训练

摘要

人类世的一个决定性问题是将物理地球和人类社会建模为一个耦合系统,但没有任何学习的表征能够跨越其观察范围。我们认为障碍是几何上的:物理地球被测量为忽略政治边界的连续场,而社会则以行政单位来报告。地球系统基础模型服务于第一几何;将其耦合到第二个需要跨边界有损平均。我们引入了 TerraNova,这是一个基础模型,根据 1,024 个自然几何和社会记录进行训练:512 个网格地球系统字段和 512 个国家指标。专用编码器代表位置、国家/地区、时间和任务,跨模式 Transformer 将它们融合为共享时空状态,超网络生成每个查询的解码器,其证据头返回预测分布。两个对比目标将表示结合在一起:每个国家与其领土内的坐标之间的人口加权对齐,以及携带图像衍生语义的预训练地理空间嵌入。通过该解码器读出,该表示与专用地理空间编码器具有竞争力,同时跨越它们不表示的轴(时间、海洋和不确定性)并支持国家级功能。冻结的主干网从稀疏的观察中重建密集的场,并在几分钟内适应消费者硬件上看不见的变量。