Hindcast：重播预测市场以评估 LLM 预测者

预测员通过回溯测试进行评估，回溯测试会重播已解决的问题，并对系统在结果得知之前分配的概率进行评分。对于 LLM，两个通道将答案泄漏到此测试中。检索模型可以显示事件发生后编写的报告，将预测转变为查找，并且每个新模型都根据更接近事件的数据进行训练，因此去年模型的未来问题位于今年的训练数据中。不管怎样，考试成绩在声称成绩具有预见性的同时还能回忆。我们引入了 Hindcast，它通过对模型进行评级来关闭这两种泄漏，就好像它处于选定的过去日期 $t_0$（在任一通道中存在结果之前）一样。 Hindcast 根据公共 Reddit 的冻结快照重播已解决的 Polymarket 预测市场，让模型只读取 $t_0$ 之前编写的帖子，并根据发生的情况和 $t_0$ 的市场自身价格对每个预测进行评分，这本身就是根据相同的过去信息做出的人类预测。由于截止值是按市场设置的，并且快照永远不会改变，因此随着模型的改进，评估会在新市场上重新运行，而不会过时。一旦泄漏被关闭，检索仍然对大多数模型有帮助，但仅限于 Reddit 事先讨论过该事件的情况。如果档案中只包含猜测，检索就会受到伤害。