CivTelescope：用状态分叉回放训练Freeciv长程奖励评判器

训练语言模型Agent游玩长程策略游戏十分困难，因为确定性反馈稀疏，而且往往到游戏结束才出现。游戏内分数可以提供稠密信号，却不能可靠预测未来结果：在八款策略游戏的8%–68%局面对中，当前得分更高的局面反而带来更差的后续结果。我们将这一现象称为“记分板陷阱”。Freeciv是一款开源回合制帝国建设游戏，多名玩家需要在数百回合中管理单位、城市和外交。我们以它为载体，研究游戏Agent的更好奖励信号。为此，我们构建了开放系统CivHarness：保存当前游戏状态，针对不同决策分叉，并将游戏回放推进到未来回合，从保存局面获取可测量的长程反馈。我们利用CivHarness训练CivTelescope，一个预测两种局面中哪种会产生更好结果的LLM评判器。在记分板陷阱局面对上，其准确率是现成语言模型的1.3–2.0倍，并能泛化到新的开局、较后回合和未见规则。随后，我们以CivTelescope作为稠密奖励训练Freeciv玩法Agent，将这一配方称为CivMarshmallow。在记分板陷阱常见的游戏中期使用时，其训练阶段平均得分增益为8.94分，比最佳基线——终局奖励——高77%。在完整120回合游戏中，CivMarshmallow采用混合奖励：先使用记分板或终局奖励，再随游戏推进转向CivTelescope。这一混合奖励在所有受比较奖励中取得最高得分。