基于离线偏好的轨迹评估

对代理系统的离线评估通常会破坏最终成功的轨迹，丢弃有关部分进展的信息并引发广泛的联系，通过减少有效样本量并削弱区分系统的能力，造成严重的统计效率低下。我们提出基于偏好的轨迹评估，它直接通过对进度和返回时间曲线的时间偏好来比较轨迹。我们发现，在不同的代理和交互式基准中，标准的基于成功的指标在大约 75% 的实例上产生了关联比较，而轨迹感知偏好将关联减少到大约 35%，从而提高了判别力、排名稳定性和数据效率。我们的结果表明，基准饱和通常归因于数据收集不良或问题困难，也可以通过评估措施的选择来解释。