论文

算子链:上下文算子学习的推理时间工具

Chain of Operators: An Inference-Time Harness for In-Context Operator Learning

模型推理推理策略与问题分解

摘要

虽然科学基础模型在加速物理模拟​​和数值预测方面显示出巨大的前景,但在遇到分布外 (OOD) 场景时,它们仍然非常脆弱。使这些通才模型适应复杂的 OOD 任务通常需要昂贵的参数 微调。在语言人工智能中,使用“Harness”绕过了这一瓶颈,“Harness”充当外部脚手架,例如推理链和用于使冻结权重适应复杂任务的工具,但为物理领域设计等效的Harness仍然是一个开放的前沿。为了弥补这一差距,我们引入了算子链(CHOP),这是一个框架,可以指导冻结的基础模型完成复杂的 OOD 任务,而无需更新单个权重。通过利用上下文算子网络 (ICON) 的上下文学习功能,CHOP 系统地将不熟悉的问题分解为一系列显式、封闭形式的数学运算和多个模型调用,将 OOD 查询转换回模型的学习操作机制。在不同的基准中,包括典型的偏微分方程问题和现实世界的空气质量预测,与直接模型评估相比,CHOP 始终如一地大幅减少了推理错误。至关重要的是,这些模块化算子链仍然是完全可解释的,并且可以推广到完全不同的物理方程组。最终,这项工作展示了冻结的科学模型如何通过可编程推理进行调整,为代理科学计算建立模块化的潜在范例。