Forecast-Dojo：用于评测与训练LLM预测Agent的可回放环境

我们提出Forecast-Dojo，一个用于评测与训练LLM预测Agent的可回放环境。它将已结算的预测市场问题与带日期的新闻相结合，让Agent能够研究一个事件，并在连续的历史日期上回顾和更新其预测。同样的任务与工具支持重复评测、训练交互的收集，以及来自已记录结果的反馈，无需等待新事件结算。Forecast-Dojo包含1568个Polymarket事件（按时间划分为训练期与评测期）以及1880万篇带日期的新闻文章。在对12个模型的评测中，研究工具降低了全部12个模型的Brier分数。预测也随事件展开而改善，在记录到更多新增带日期证据的步骤上增益最大。所有模型在Brier分数与准确率上仍落后于历史市场预测。在日期之间携带的信念笔记本降低了研究成本，但并未持续改善预测质量。除评测外，Forecast-Dojo还为Agent学习提供交互轨迹与结果反馈，并以监督微调作为概念验证。