自主研究的实验体验建模

自主研究Agent可以产生假设并进行实验，但实验仍然是计算成本的主要来源。一个根本的挑战是决定哪些实验值得进行，特别是当先前的证据不足以解决不确定性时。然而，当前的研究人员在做出此类决策时缺乏一种系统的方法来利用实验经验。我们引入实验经验建模（EEM），这是一个通过获取、重用和积累实验经验来做出明智实验决策的框架。 EEM从早期的实验轨迹中提取与决策相关的记录，将它们提炼成可重用的经验，并将它们组织在经验库中。对于新的实验决策，EEM 检索相关历史经验并评估其是否为决定候选方向是否值得进一步投资提供足够的支持。当历史经验不足时，EEM有针对性地进行低成本试点，按需获取缺失的决策相关经验。然后，它将新获得的经验与检索到的历史经验相结合，以确定该方向是否值得进行全面评估，这需要大量资源。由此产生的实验结果被进一步提炼成可重用的经验，使库能够通过迭代积累不断增长。自主研究基准的实验表明，EEM 提高了研究性能，同时减少了模型交互开销，证明了重用积累的经验以及仅在需要时获取额外经验的价值。