论文

基于异构科学接口构建的能量和辐射系统的基础模型

A foundation model for energy and radiation systems built on heterogeneous scientific interfaces

模型架构新型架构

摘要

科学基础模型通常在异构物理问题已转换为兼容的网格、标记化或符号表示后进行评估。这使得科学界面处于预训练模型和实际重用内容审核之外。我们研究了互补的设置,其中边界历史、稀疏监控记录和加载历史保留其本机推理类,并且它们的输出保留在笛卡尔、经纬度和非结构化域上。 GEODE ​​将特定于任务的科学接口与小波算子的共享路由库相结合。单个联合预训练模型表示腔流、辐射剂量和弹塑性应力,然后通过训练包含 2.1% 参数的专用接口来获取热交换器和反应堆子通道。早期的预测通过参数隔离保持不变,而无限制的微调会使它们降低 14-29 倍。至关重要的是,仅保存并不能建立重用:规范匹配的随机库控制表明,预训练计算的贡献取决于任务和数据机制。单独的分解表明,当场水平占主导地位时,全场相对 L2 误差可以大大低估相对于空间变化的误差。特定于任务的操作员在五个问题中的三个上仍然更加准确。这些结果将多任务覆盖、保存和预训练重用区分为单独的属性,当科学基础模型跨越异构接口时,必须独立测试这些属性。