事先或反馈？LLM在调整神经算子时使用什么

LLM 科学Agent是否仅依赖于他们最初的任务背景，或者他们是否根据实验反馈调整他们的决定？我们在神经算子适应中研究这个问题，其中大型语言模型（LLM）在有限的试验预算下选择微调配置。在偏微分方程 (PDE) 系列内部和之间的传输中，LLM 在几乎每个匹配比较中都实现了比随机搜索和贝叶斯优化更低的保留测试 nRMSE。仅凭端点性能无法区分发生的情况，因此我们通过受控干预来验证每个归因。在观察任何验证分数之前，LLM 的第一个配置已经排名接近相应随机搜索池的顶部，这表明有用的初始偏差。补充冷启动干预表明，所选的基础学习率随偏微分方程描述而变化。一旦反馈可用，在评估的配置之间重新分配验证分数会改变每个测试案例中的下一个提案，而保值重写不会产生任何结果 可比较的总体效应。这些干预措施表明LLM的决策级行动对给定的任务和观察到的结果做出了反应，表明它结合了任务依赖的先验和对实验反馈的敏感性。