论文

SimAuthor:利用基础模型进行持久的科学模拟器创作

SimAuthor: Harnessing Foundation Models for Persistent Scientific Simulator Authoring

智能体系统Agent Harness

摘要

基础模型可以生成科学代码,但编写科学模拟器(编码有关机制如何生成可观察信号的假设的可执行程序)需要迭代细化。科学充分性很少承认独特的实施或精确的测试,因此必须根据有限的真实观察来判断模拟器。我们研究这种设置作为弱经验反馈下的科学模拟器创作,其中模拟信号和真实信号之间的分布比较指导修订,目标是模拟器本身而不仅仅是其生成的样本。我们介绍 SimAuthor,一个持久性创作Harness,它保留和修改可执行模拟器,将标量搜索分数与结构化差异反馈分开,并积累可重用的实现机制。我们在心脏和呼吸音频、光电体积描记法 (PPG) 和心电图 (ECG) 等六项生物医学任务上对 SimAuthor 进行了评估。在固定的 100 次尝试预算下,SimAuthor 在所有六项任务上都优于 PUCT 分数搜索,通常优于文本策略优化,并在六项任务中的五项中取得了最高端点分数。编写的模拟器还改进了看不见的记录,转移到独立的预训练表示,并在下游心电图分类中产生大量的分布外增益。最后,138 个审核修订中有 111 个改变了程序结构,占签名分数改进的 86.1%。这些结果表明,持续修订可以逐步将基础模型知识从有限的经验证据转化为更好的可执行科学模拟器。

SimAuthor:利用基础模型进行持久的科学模拟器创作的原论文方法或结果图
图 1:概述。当精确的验证不可用并且反馈仅来自稀缺的真实数据时,SimAuthor 将LLM先验知识转换为可执行的模拟器代码。