论文

世界泄露了未来:利用进化来预测未来

The World Leaks the Future: Harness Evolution for Future Prediction Agents

智能体系统Agent Harness智能体自我改进

摘要

在得知相关结果之前,必须做出许多重大决定。此类问题通常被描述为 \emph{未来预测},其中 LLM 代理必须仅使用预测时可用的公共信息对未解决的问题进行预测。这个设置很困难,因为公共证据不断发展,而有用的监督只有在问题解决后才会出现,因此大多数现有方法仍然主要从最终结果中改进。然而,最终结果过于粗略,无法指导早期的因素跟踪、证据收集和解释或不确定性处理。当随着时间的推移重新审视同一未解决的问题时,早期和后期预测之间的时间对比可能会暴露早期预测过程中的遗漏;我们称这个信号为\emph{内部反馈}。我们引入了 \emph{Milkyway},一个自我进化的代理系统,它保持基本模型固定,并更新持久的 \emph{未来预测工具},用于因素跟踪、证据收集和解释以及不确定性处理。在对同一未解决问题的重复预测中,\emph{Milkyway} 会提取内部反馈并将可重复使用的指导写入线束中,因此以后对该问题的预测可以在结果得知之前得到改进。问题解决后,最终结果会提供\emph{回顾性检查},然后再将更新的线束结转到后续问题。在FutureX和FutureWorld上,Milkyway在比较方法中取得了最好的总分,FutureX从44.07提高到60.90,FutureWorld从62.22提高到77.96。

世界泄露了未来:利用进化来预测未来
图 2:未来预测中时间对比的内部反馈。随着时间的推移,一个未解决的问题会被重新审视,后来的预测会暴露出早期预测所遗漏的内容:哪些因素应该更早追踪,哪些证据来源应该检查,以及哪些地方应该保持不确定性。这些经验教训更新了持久的未来预测工具,并且在工具转移到下一个相关问题之前,实现的结果随后提供了回顾性检查。