Mini-JEPA 基金会模型舰队实现代理水文情报
Mini-JEPA Foundation Model Fleet Enables Agentic Hydrologic Intelligence
摘要
地理空间基础模型将多光谱观测结果压缩为密集嵌入,越来越多地用于自然语言环境推理系统。单一行星尺度模型,例如Google AlphaEarth 可以很好地处理广泛的特征,但可能会损害专门的水文信号。此类通用模型通常难以访问、昂贵且需要大规模计算。我们提出了 Mini-JEPA:一组小型传感器专用联合嵌入预测架构 (JEPA) 基础模型,由路由代理针对专门问题进行咨询。我们使用 Sentinel-2 光学、Sentinel-1 SAR、MODIS 热学、多时相 Sentinel-2 物候学和地形-土壤堆栈对五个 22M 参数 Mini-JEPA 进行预训练,它们共享相同的 Vision Transformer 主干、JEPA 配方和 64 维输出空间。每个 Mini-JEPA 都会重建与其传感器匹配的变量,经过交叉验证的 $R^2$ 达到海拔 0.97、温度 0.97 和降水 0.81。五个流形的几何结构不同,全局参与比从8.9到20.2,局部内在维数从2.3到9.0。联合地形-土壤和物候模型在土壤湿度、干旱度和降水方面的预测价值超出了 AlphaEarth 单独的模型($ΔR^2$ 高达 0.031)。路由器 LLM 读取每种模式的参考,并选择适当的传感器,在策划的问题集中具有完美的命中率。在配对 LLM-as-Judge 评估中,在物理匹配问题上,AlphaEarth 和路由舰队的双重检索优于单独的 AlphaEarth(Cohen 的 $d = 1.10$,$p = 0.031$)。经过本地训练的 Mini-JEPA 可以通过适度的计算来实现水文情报。