网络世界模型作为复杂系统算法设计的环境

世界模型可以模拟环境并预测环境在动作下如何变化，越来越多地用于机器人等现实世界应用中。复杂的系统需要相同的工具，因为操作的效果不是立竿见影的。为一场活动播种节点，或对流行病进行免疫节点，其本身变化不大；重要的是接下来的步骤所呈现的结果。设计一种算法来选择此类操作以最大化任务的预期性能本质上是迭代的，并且必须根据其产生的结果对每个候选者进行评分。获得这一结果依赖于模拟，当在许多采样轨迹上评估候选人时，模拟的成本成为瓶颈。我们提出了一种以行动为条件的网络世界模型，该模型可以随着时间的推移学习干预下网络的扩散动态，将每个行动应用于网络，并预测随后的结果。它在算法设计循环中充当快速评估器，在该循环中，编码Agent使用来自全面部署的反馈、行动级信用以及对替代干预措施的反事实调查来设计和完善可执行算法。在 8 个网络任务和 5 个扩散模型中，设计的算法在 141 个设置中的 138 个设置中匹配或超过了报告的最强基线，同时rollout速度比蒙特卡罗模拟快 14.5 倍。代码将在接受后发布。